小二CMS官网

重复收录新闻栏目页,是蜘蛛抓取的链接是重复累加的链接吗

2024-10-29 09:34:10 关注:
摘要:蜘蛛一直抓取的URL,是否有通道,如果有通道,这就是URL规划存在问题

1、蜘蛛一直抓取的URL,是否有通道,如果有通道,这就是URL规划存在问题;

2、如果这个URL,是不存在URL,那么势必是需要返回码变404,做死链接提交删除,返回码404,后期蜘蛛也不会再抓取;

3、Robots封禁,只能是用robots文件,再网页里面写的代码不管用,用robots,你封禁那个页面,写好就行,能测试是否已封禁,如果害怕误封禁某个页面,可以在站长平台robots哪里进行测试,随时可调整;

4、屏蔽admin,,这种无影响;

5、首先要确保前端没有给蜘蛛留不想被抓取爬行的页面URL通道,其次robots问题,可操作后去检测下。

你觉得这篇文章怎么样?

42 0
本文网址:重复收录新闻栏目页,是蜘蛛抓取的链接是重复累加的链接吗
免责声明:文章《重复收录新闻栏目页,是蜘蛛抓取的链接是重复累加的链接吗》来至网络,文章表达观点不代表本站观点,文章版权属于原作者所有,若有侵权,请联系本站站长处理!

扫描二维码与小二CMS创始人沟通:

小二CMS微信

小二CMS专注于高端网站定制、系统开发、商城开发、外贸网站建设、公众号开发、小程序开发、网站优化推广、安全运维等技术领域。是高端定制网站领域著名服务商!

相关资讯
返回顶部