让搜索引擎快速收录网站页面解决办法

让搜索引擎快速收录网站页面解决办法 robots.txt，是用来声明网站中不希望被搜索引擎收录的内容或用来指定搜索引擎收录内容的规则文件。

　　我们知道，现代搜索引擎收录网站页面是通过网络爬虫（英文名称有很多:bots,spider,Crawler,collector,walker,Slurp等等）进行页面采集，即由网络爬虫进入网站，将网站页面以及页面下的连接页面进行下载，然后通过内容分析器来分析页面内容。而在这个过程中，robots.txt的作用就在于告诉网络爬虫，那些页面不能采集，那些页面能采集。一般来说，主流搜索引擎的网络爬虫都是遵守robots.txt规范的。具体的robots规范可参见以下网站：www.robotstxt.org和www.w3.org。

　　robots.txt要求保存为小写，存放在网站根目录下，并保证可以通过www.yourdomain.com/robots.txt进行访问的。

　　我们填写robots.txt一般只需要注意两个语法规则就可以了：User-agent和Disallow。User-agent是规定允许采集本站页面的搜索引擎；Disallow规定不允许采集的页面路径。

例一、

　　User-agent: *

　　Disallow:

　　上面规则表示允许所有搜索引擎的爬虫收录本站页面，并且允许采集所有页面。本例还有一个简便的方式，就是创建一个命名为robots.txt的空文档，放入网站个目录就好了！

例二、

　　User-agent: *

　　Disallow: /admin/

　　上面规则表示允许所有搜索引擎爬虫收录本站页面，但不允许收录/damin/目录下的所有页面。我们知道，admin目录下的页面，往往存放着后台管理页面，为了安全起见，我们不允许搜索引擎把/admin/目录下页面收录。

例三、

　　User-agent: Baiduspider

　　Disallow:

　　上面规表示只允许Baidu爬虫收录本站页面，并且允许收录所有页面。

例四、

　　User-agent: *

　　Disallow: /

　　上面规则表示任何搜索引擎爬虫都不得收录本站所有页面。对于一些不希望公开站点的网站来说，的确是比较有用的！

　　知道以上规则，我们就可以巧妙利用robots.txt。

　　国内常见的搜索引擎爬虫有：

Baiduspider、Googlebot、Slurp、MSNBOT、iaskspider、sogou+spider、Zhuaxia.com+1+Subscribers、Feedsky+crawler

小二CMS介绍

我们立足合肥，业务覆盖安徽、全国及全球市场。我们凭借一支经验丰富、富有创意、协作无间的专业技术团队，专注于将前沿技术通过高效简捷的途径呈现给客户，量身打造优质解决方案。我们致力于通过持续努力，成为客户在信息化领域值得托付、共创价值的长期战略合作伙伴，协助客户在新经济时代敏锐捕捉商机，拓展发展空间，构筑强大竞争力。小二CMS专注企业数字化转型的智能建站与营销系统，提供从官网搭建、品牌推广到运营增长的一站式服务，助力中小企业低门槛拥有专业级互联网阵地。

网站建设 移动相关开发 营销推广与优化 域名主机邮箱 产品与技术 企业服务

了解全部业务

扫码咨询 · 关注微信