Robots.txt是放一些网站上不想让搜索引擎抓取收录的文件，需要我们自己知道网站哪些文件是不想被收录的，比如一般网站的后台就没有必要收录以及会员信息页面等。

Robots搜索引擎协议 2022-06-09 314人关注