seo教程

如何有效的屏蔽百度蜘蛛

seo优化

很多时候,我们都不会去把百度蜘蛛去屏蔽掉,但是也有需要去屏蔽一些不必要的抓取,比如一些大型的网站门户网,有登录页面或者是注册页面,还有一些不想让百度蜘蛛抓取文件都可以利用robots协议来完成,那么青玉seo青玉就讲解哈屏蔽百度蜘蛛的具体方法。

一、robots协议

robots协议相信大家都不陌生,首先既然要用到robots协议,那么我们就要先创建一个记事本,把记事本重命名为robots,然后我们写下robots协议具体如下:

User-agent: BadBot
Disallow: /

然后保存后通过FTP工具上传到网站根目录即可。

二、robots Meta标签

robots?Meta标签也可以屏蔽百度蜘蛛抓取,这种方法与robots类似,但是还是部分搜索引擎不支持,robots?Meta用来对某几个页面单独设置时使用。其代码是写在“<head></head>”之间,如下所示:

<head>

<meta?name=”robots”?content=”index,follow”?/>

</head>

三、.htaccess屏蔽

如果说使用robots协议无法全部屏蔽你的网站,那么你可以在你的网站根目录下找到.htaccess屏蔽代码如下:

方法1:

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]

RewriteRule .* – [F]

方法2:

SetEnvIfNoCase User-Agent “^Baiduspider” bad_bot

<Limit GET POST>

Order Allow,Deny

Allow from all

Deny from env=bad_bot

</Limit>

总结:百度蜘蛛屏蔽方法有许多,以上方法可参考,青玉seo青玉觉得还是以robots协议较好,所以其他方法及时可以用,但是也不建议去做,因为一步小心搞错了,就会导致麻烦不断!

本文由 SEO-网站关键词排名优化服务-权重快速提升 作者:青玉seo 发表,转载请注明来源!

seo优化