seo教程
robots协议如何去写
青玉seo
robots协议如何去写?其实很简单，但是在学习如何写robots协议前，青玉seo青玉将先为大家讲一下，robots协议的符号理解！这样才能有效的运用好robots协议!
一、robots协议是什么
robots协议就是指定搜索引擎蜘蛛根据所写的robots协议爬寻，并且关系到所写的命令去执行。
二、robots协议里的符号介绍与写法
1.User-agent: 给不同的蜘蛛定义相应的规则
2.Disallow: 不需要访问的某一条路径
3.Allow: 允许某一条路径抓取
举例说明；
User-agent： * ?（以下内容适用所有搜索引擎）
Disallow: / （禁止搜索引擎抓取网站内任何内容）
Disallow: /*?* （禁止搜索引擎抓取动态页）
Disallow: /admin/（禁止搜索引擎抓取管理员的内容）
Allow: /page/ （允许搜索引擎抓取的某条连接）
Sitemap: http://www.xusseo.com/sitemap.html（希望百度抓取的网站地图）
Sitemap: http://www.xusseo.com/sitemap.xml（希望谷歌抓取的网站地图）
链接：在网站中出现死链的时候，我们就可以用robots.txt来屏蔽一下，告知搜索引擎，这些链接不要被抓取。
地图：希望搜索引擎抓取网站地图时，我们就可以把网站地图放到robots.txt文件内。
总结:robots协议写法有很多，如果不是很懂千万不要去整，不然你的网站会有不一样的效果出现的（哈哈），写的时候也要注意一定认真看清楚，不然被屏蔽了也找不到什么原因！所以在此提醒大家写robots协议一定要注意！
本文由 长春SEO优化-网络推广-网站托管外包 作者：青玉seo 发表，转载请注明来源！
相关文章
