欢迎来到XiaoerCMS官网,XiaoerCMS被业界瞩目、与同行友好合作、拥有经验丰富的网站开发技术团队!
不忘初心,方得始终
中高端网站定制开发服务商
与我们取得联系
198-1095-0281 791609988
网站建设资讯 • 网站设计趋势 从品牌网站建设到网络营销策划,从策略到执行的一站式服务

Robots搜索引擎协议写法和注意事项

发布日期:2022-06-09 08:46:44 热度:
摘要:Robots.txt是放一些网站上不想让搜索引擎抓取收录的文件,需要我们自己知道网站哪些文件是不想被收录的,比如一般网站的后台就没有必要收录以及会员信息页面等。

Robots.txt是放一些网站上不想让搜索引擎抓取收录的文件,需要我们自己知道网站哪些文件是不想被收录的,比如一般网站的后台就没有必要收录以及会员信息页面等。小编通过以下五点来和大家分享是的Robots搜索引擎协议写法和注意事项。


一,什么是Robots协议?

1>网站和搜索引擎的协议文件

2>蜘蛛爬行网站的第一个要访问的文件


二.Robots有什么作用?

1>屏蔽网站内的死链接。

3>屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。

3>阻止搜索引擎索引网站隐私性的内容


三.Robots语法:

1>User-agent定义搜索引擎类型:

(1)百度蜘蛛:Baiduspider

(2)谷歌蜘蛛:Googelebot

(3)360蜘蛛:360Spider

(4)Soso蜘蛛:Sosospider

(5)有道蜘蛛:YoudaoBot

(6)搜狗蜘蛛:SohpiNews Spider 等


2>Disallow禁止抓取收录地址:

(1)禁止整站:写法 User-agent: Baiduspider Disallow: /

(2)禁止一个文件夹:写法 User-agent: Baiduspider Disallow: /data

(3)禁止文件:写法 User-agent: Baiduspider Disallow: /jianzhan/list_1.html

(4)禁止动态路径: 本来是动态路径,后面又修改成静态路径,导致两个不同路径同时能访问一个页面,我们可以把动态路径禁止,动态链接的一个标准符号就是“?”因此禁抓动态Url命令写作:Disallow: /*?*


3>Allow定义抓取收录地址:写法 Allow: /data/common.inc.php


4>语法符合:

(1)/单个符合搜索引擎认为是根目录:写法:Disallow: /*.php$

(2)*能匹配0或者所有英文字符:自由主题

(3)$结束符


四.什么情况下用Robots

1>统一路径,动态和静态 www.wglseo.com/

2>搜索链接

3>标签链接

4>中文链接

5>根据情况,不想让网站收录的文件,隐私文件,会员注册等


五.使用Robots注意事项

1>符合使用的细节[/ : 空格 大小写]

2>生效时间[几天或者两个月以内]

3>不要随便屏蔽整站


3
本文网址:Robots搜索引擎协议写法和注意事项
免责声明:文章《Robots搜索引擎协议写法和注意事项》来至网络,文章表达观点不代表本站观点,文章版权属于原作者所有,若有侵权,请联系本站站长处理!

我们立足于合肥面向安徽乃至全国全球市场,我们拥有一支经验丰富、创意独到、团结协作的专业技术团队。我们立志把最好的技术通过最有效、最简单的方式提供给客户,为客户提供最佳的解决方案,我们将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴,帮助客户在新经济时代下,把握商机和发展空间,并获得绝对的竞争力!

小二CMS(xiaoercms.com)成立于2013年9月,致力于研发目前国内最专业、功能最强大,扩展性能最自由灵活的高端行业通用的网站系统。目前独立开发的系统包括家装门户网站系统、B2C商城系统、分类信息系统、企业建站系统、O2O家政系统、O2O维修系统、威客系统、国外游戏币交易系统等。我们做的不仅仅是网站系统,更多的是成就您的成功!

关于我们

小二CMS(xiaoercms.com)成立于2013年9月,致力于研发目前国内最专业、功能最强大,扩展性能最自由灵活的高端行业通用的网站系统。目前独立开发的系统包括家装门户网站系统、B2C商城系统、分类信息系统、企业建站系统、O2O家政系统、O2O维修系统、O2O上门服务系统、威客系统、国外游戏币交易系统等。我们做的不仅仅是网站系统,更多的是成就您的成功!

我们的优势

九年建站服务经验
服务3000家企业
资深行业分析策划
前沿视觉设计、研发能力
前端代码深度符合SEO优化
千家成功案例

独家源码出售
具有完备的项目管理
完善的售后服务体系
深厚的网络运营经验
时刻新技术领先研发能力
方便二次开发

我们的不同

我们是一个年轻且富有激情的团队,我们沉迷于代码并陶醉在设计之中。我们非设计,不生活;无兄弟,不编程!可年轻并不意味着没有经验。团队成员均来自各顶尖设计公司及软件公司,我们对网站设计及开发驾轻就熟,有着数百个成功案例。我们坚信用心服务,用实力说话!我们的使命:通过我们的努力,让技术改变命运!我们的宗旨:客户第一,品质至上!我们的信念:唯有客户的成功,才是我们的成功!

城市分站: 合肥 安庆 芜湖 阜阳 淮南 淮北 黄山 蚌埠 马鞍山 铜陵 滁州 宿州 六安 池州 宣城 北京 上海 南京 苏州 东莞 广州 深圳 杭州 天津 济南 太原 成都 沈阳 哈尔滨 长春 大连 三亚