seo教程
如何有效的屏蔽百度蜘蛛
青玉seo
很多时候，我们都不会去把百度蜘蛛去屏蔽掉，但是也有需要去屏蔽一些不必要的抓取，比如一些大型的网站门户网，有登录页面或者是注册页面，还有一些不想让百度蜘蛛抓取文件都可以利用robots协议来完成，那么青玉seo青玉就讲解哈屏蔽百度蜘蛛的具体方法。
一、robots协议
robots协议相信大家都不陌生，首先既然要用到robots协议，那么我们就要先创建一个记事本，把记事本重命名为robots，然后我们写下robots协议具体如下：
User-agent: BadBot
Disallow: /
然后保存后通过FTP工具上传到网站根目录即可。
二、robots Meta标签
robots?Meta标签也可以屏蔽百度蜘蛛抓取，这种方法与robots类似，但是还是部分搜索引擎不支持，robots?Meta用来对某几个页面单独设置时使用。其代码是写在“<head></head>”之间，如下所示：
<head>
<meta?name=”robots”?content=”index,follow”?/>
</head>
三、.htaccess屏蔽
如果说使用robots协议无法全部屏蔽你的网站，那么你可以在你的网站根目录下找到.htaccess屏蔽代码如下：
方法1：
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]
RewriteRule .* – [F]
方法2：
SetEnvIfNoCase User-Agent “^Baiduspider” bad_bot
<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
总结:百度蜘蛛屏蔽方法有许多，以上方法可参考，青玉seo青玉觉得还是以robots协议较好，所以其他方法及时可以用，但是也不建议去做，因为一步小心搞错了，就会导致麻烦不断！
本文由 长春SEO优化-网络推广-网站托管外包 作者：青玉seo 发表，转载请注明来源！
相关文章
