爬虫软件是一种程序，主要用于搜索引擎，它将一个网站的所有内容与链接进行阅读，并建立相关的全文索引到数据库中，然后跳到另一个网站.样子好像一只大蜘蛛。当人们在网络上(如google)搜索关键字时，其实就是比对数据库中的内容，找出与用户相符合的，网络爬虫程序的质量决定了搜索引擎的能力，如google的搜索引擎明显要比百度好，就是因为它的网络爬虫程序高效，编程结构好。