如何与恶意“蜘蛛”暗度陈仓？

在搜索引擎优化的过程中，您是否遇到过这样的问题:服务器访问的CPU利用率几乎是100%，页面加载速度非常慢，看起来像是受到了DDOS的攻击。

经过一番检查，发现原来的目标网站经常被大量不相关的“爬虫”抓取。对于一个小网站来说，这可能是一场灾难。

因此，当我们进行网站优化时，我们需要对特定的蜘蛛有选择性的指导。

那么，如何与恶意“蜘蛛”暗度陈仓？  

根据以往的搜索引擎优化经验分享，陈子将通过以下内容进行阐述:

1。搜索引擎爬虫

至于我们国内的合作伙伴，我们都知道在搜索引擎优化的过程中，我们面对的最常见的爬虫是搜索引擎的爬虫，比如百度蜘蛛，同时，我们也会面对各种搜索引擎的蜘蛛。例如:

①360Spider，SogouSpider，Bytespider

②Googlebot，Bingbot，Slurp，Teoma，ia_archiver，twiceler，MSNBot

③其他crawlers

如果你不刻意配置你的robots.txt文件，理论上，你的目标页面可以被爬行和爬行，但对于一些中小型网站，它偶尔会严重浪费它的服务器资源。

在这个时候，我们需要做出有选择性和合理的引导，尤其是对于一些尴尬的问题，比如:你想让谷歌减少在网站上的抓取而不完全屏蔽它，你可能需要一些小技巧，比如:为特定的爬虫访问反馈不同的文章列表:

①列表控制更新频率

②反馈大量重复。内容农场的网页

③善意“蜘蛛陷阱”如:Flash

④对方SEO如何管理平台，可以适当调整抓取的评论和调整

等。尽管这种策略可能会对页面的声誉造成损害，但对于那些不想频繁爬行但需要不断爬行的蜘蛛来说，这是一种相对“有效”的方法。

2。链接分析爬虫

从现在开始，一个搜索引擎优化外部链接分析管理工具需要花费大量的服务器资源来抓取整个网络，并且每天检测每个网站的页面链接。

对于一些资源密集型网站，它们一天可能会爬行数万次。这种爬虫很常见。

如果你不想让你自己的网站参与其中，最简单的策略就是将这些爬虫完全包含在机器人协议中。

3。内容收集爬虫

但是当我们面对一些恶意的内容收集爬虫时，相对尴尬的是对方经常采取一种“隐形”的状态，比如:模仿一个著名的搜索引擎蜘蛛的名字。

对于这样的问题，我们只能手动判断来检验对方庐山的真伪，比如，用IP泛分辨率命令来判断是真是假。

① linux平台: hostip

②鳏夫平台: nslookup ip

判断对方的解析地址是否为相应的搜索引擎域名。

4。蜘蛛池爬虫

目前，市场上有很多人在做百度蜘蛛池。它的主要目的是帮助更多的页面做百度的快速收集，但由于一些随机下载的蜘蛛池的非标准编程。

未能正确地爬行和限制不同的蜘蛛通常会导致大量服务器资源被占用，这使得服务提供商很容易关闭服务器。

如果你试图用这个策略来提高你的页面覆盖率，那么你可能需要多加注意。(但我们不推荐它)

如何与恶意“蜘蛛”暗度陈仓？第总结条:搜索引擎优化是一项细致的工作，每一个策略都会影响整个站点的运行状态。以上内容仅为简要分析，适用于中小型站长，仅供参考！