robots文件是爬行器访问web站点时查看的第一个文档，或者爬行web内容的第一步。因此，当您检查是否包含该页面时，也应该检查robots文件。

　　robots.txt是什么

　　robots文件不是命令，而是协议。爬行器在爬行网站时首先访问robots.txt文件。如果robots.txt文件允许爬行器爬行，那么爬行器将爬行web内容。如果腐烂。TXT文件不允许爬行器抓取站点内容，爬行器不会抓取rot下的站点内容。-一般来说，如果网站没有被抓取，可能是因为网站管理员在操作robots.txt文件时出错，导致爬行器无法抓取网站。因此，我们必须正确使用robots.txt文件，确保网站内容能够被抓取。

　　robots.txt如何书写

　　(1)允许所有搜索引擎抓取网站的全部内容:user-Agent: *Allow:/

　　(2)禁止所有搜索引擎抓取本网站所有内容:user-Agent:Disallow:/

　　(3)禁止搜索引擎访问网站的某些目录，如admin: user-Agent:

　　Diallow: / admin /

　　(4)有限访问一个目录，可以使用“S”后缀目录，如有限访问ap目录:user-Agent: *Allow:。AspSDisallow: /

　　以上介绍了robots files的基本用法，SEO人员可以根据具体情况综合使用。

　　结论:正确编写robots文件是非常重要的。包含站点地图的路径有一个技巧，以促进包含。另外，对于robots文件，为了站点的安全，需要提醒人们不要包含后台地址。

扫描二维码与小二CMS创始人沟通：

小二CMS专注于高端网站定制、系统开发、商城开发、外贸网站建设、公众号开发、小程序开发、网站优化推广、安全运维等技术领域。是高端定制网站领域著名服务商！