1、蜘蛛一直抓取的URL，是否有通道，如果有通道，这就是URL规划存在问题；

2、如果这个URL，是不存在URL，那么势必是需要返回码变404，做死链接提交删除，返回码404，后期蜘蛛也不会再抓取；

3、Robots封禁，只能是用robots文件，再网页里面写的代码不管用，用robots，你封禁那个页面，写好就行，能测试是否已封禁，如果害怕误封禁某个页面，可以在站长平台robots哪里进行测试，随时可调整；

4、屏蔽admin，，这种无影响；

5、首先要确保前端没有给蜘蛛留不想被抓取爬行的页面URL通道，其次robots问题，可操作后去检测下。