搜索引擎利用蜘蛛对网页进行爬行，然后抓取这些内容并存入自己的庞大的数据库中，也就是我们经常说的“收录”，再经过一系列处理，后当用户搜索某个关键词时返回与之相对应的搜索结果。
一、蜘蛛的特性与收录
蜘蛛通过网页的链接地址来寻找网页，从网站某一个页面(这里通常是指网站首页)开始，读取网页的内容，找到网页中的其他链接地址，然后再通过这些链接地址寻找下一个网页，就这样周而复始的寻找下去，直到把这个网站所有页面都抓取完为止。
如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。
在通常情况下，蜘蛛完成某网站的全部抓取以后，会隔一段时间又来看下网站页面是否更新，是否有新产生的内容需要抓取，并根据网站的更新效率等因素逐渐养成爬行此网站的节奏。
一般情况下的说法是，蜘蛛的爬行特性是根据网站的更新节奏而来的，如果网站更新得越频繁，新内容就越多，蜘蛛就会爬行得越快，随之而来的收录也就越快。所以，对搜索引擎优化来说，要想一个网站获取一个好的排名基础，就是保证网页收录，保证蜘蛛对网站有良好的爬行节奏。
二、稳定的更新节奏与“圈养蜘蛛”
简单来说，要达到“圈养”蜘蛛的目的需要两个条件，1、有足够多的新内容。2、这些新内容有良好的更新节奏。
如果一个网站没有足够多的新内容，蜘蛛在爬行完成以后就会变得很不“勤快”了，来访问网站的节奏会逐渐延长，及时收录新页面的机会也就随之降低了。如果网站采用一次更新大量内容，然后长时间不更新的方式来建设内容，蜘蛛对新页面的抓取效率同样也不会高。
基于上面的原因，对中小型网站而言就需要养成频繁更新、稳定更新内容的优秀节奏，要实现这一的效果，在解决了内容储备之后，如果有一个可以按照固定节奏，代替人工更新的插件就好了。
