蜘蛛是搜索引擎自己研发的一个搜索引擎抓取程序
它主要抓取互联网上的上的网页、图片、视频等内容，方便搜索引擎对这些内容进行索引， 这样用户可以在搜索引擎里搜索他们想要的内容，出现他们需要的结果。由于抓取程序在互联网上不停的爬，就好比蜘蛛在他的网上爬取一样，所以大家给“搜索引擎抓取程序”取名叫蜘蛛。搜索引擎为了提高爬行和抓取速度，都使用多个蜘蛛并发分布爬行。
SEO蜘蛛的工作原理
1、蜘蛛访问网站时，首先会访问网站根目录下的robots.txt文件。如果robots.txt文件禁止搜索引擎蜘蛛抓取某些网页或者内容，再或者网站内容没有价值，蜘蛛将遵循协议，不对其进行抓取。
2、搜索引擎蜘蛛为了尽量抓取网上多的页面，它会追踪网页上的链接，从一个页面爬到下一个页面，就好像是蜘蛛在蜘蛛网上爬行那样，这就是搜索引擎蜘蛛这个名称的来因。
3、整个互联网网站都是相互链接组成的,从任何一个页面出发最终会爬完所有页面。如果站点和页面链接的结构过于复杂，蜘蛛只能用一定的方式来爬行所有的页面。
4、蜘蛛爬行策略分为两种：深度优先和广度优先。搜索引擎或许也只爬行和收录了互联网的一小部分。为了尽量多的抓取用户信息, 深度和广度通常是混合使用的, 既可以照顾到网站, 也能照顾到一部分网站的内页。
综合来说，SEO优化想要收录更多的页面就要想办法吸引蜘蛛来我们网站抓取更多的内容，这也是直接影响SEO优化排名的因素。
