Archie是第一个自动索引互联网上匿名FTP网站文件的程序，Archie是一个可搜索的FTP文件名列表，Nevada(美国的内华达州)SystemComputingServices大学于1993年开发了一个Gopher(GopherFAQ)搜索工具Vero。Jughead是后来另一个Gopher搜索工具。由于专门用于检索信息的Robot程序象蜘蛛(spider)一样在网络间爬来爬去。