蜘蛛获取过程中的策略

蜘蛛在获取的过程里面对着麻烦的网络环境，为了让系统能够获取到很多的有用资源并保证系统以及实际环境里面网页的同样性同样的不可以站点体验造成压力，会设置很多的麻烦的获取方法。下面我们就来简单说明一下获取流程里面涉及到的重要方法的分类：

蜘蛛获取过程中的策略

1、获取友好性

一般状况下，较根本的是基于IP的压力限制。这是因为假如基于域名，也许存在一个域名对几个IP或者几个域名对同一个IP的原因。

现实中，常常依据IP以及域名的多个条件来做压力调配限制。同时，站长平台也推广了压力反馈装备，站长能够人工调配对我们站点的获取的压力，这个时候Baidu蜘蛛会优先依照站长的需求来做获取压力限制。

2、常用获取返回码示意

简单说明几个Baidu支持的返回码：

1）常见的404页面说明了NOT FOUND,认为网页已经没有了，一边会在库中删掉，同时短时间里面假如蜘蛛再次看到这条url也不会获取；

2）403说明了Forbidden,认为页面现在屏蔽访问。假如是新url,蜘蛛短时间不会获取，短时间里面一样会反复访问多次；假如是已收录url,就不会马上删掉，短时间里面一样反复访问多次。

假如是页面正常访问，就会正常获取；假如还是屏蔽访问，那么这个url也会被认同是没用的链接，从库里面删掉。