如何优化404页面和Robots文件设置？

如何优化404页面和Robots文件设置？

当访客在浏览网站建设的时候，会出现一些打不开的死链接，这时出现的页面就是网站404页面。我们将网站错误页面进行优化，更加贴近用户体验，这样的话就可以减少用户的流失，从而减少网站整体的跳出率。Robots文件是当搜索引擎在抓取和访问网站的时候所第一个访问的文件。

我们在这个文件上可以设置搜索引擎。设置哪些页面可以被搜索引擎抓取，还有哪些页面不被搜索引擎抓取。

如果是个人网站，涉及到个人隐私的部分可以设置成不被搜索引擎所抓取。这样的话就不会在网站中搜索和检查到。

如果是一般性的商业网站，我们会设置成所有的页面都会被抓取。

这些是写入文件的时候一些常用的写法。里面的*号是代表所有，如果后面是空白，不写的话就是代表没有。