robots文件是爬行器访问web站点时查看的第一个文档，或者爬行web内容的第一步。因此，当您检查是否包含该页面时，也应该检查robots文件。

robots文件,robots文件怎么写 2021-11-05 410人关注