网站推广人员有2种：一种是会做网站的，也就是懂代码；还有一种是纯维护和编辑型的，这类人缘不懂网站代码，所以最近很多不懂网站代码的朋友问我robots文件一些问题，其实都知道网站推广就是把网站的排名做上去，从而推广出去，可以这样说，robots文件对网页的排名是非常有好处的，下面我们就针对此问题为大家作个详细的介绍：

　　一、先了解什么是robots文件？

　　Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

　　二、robots功能用途是什么？

　　robots协议用来告知搜索引擎哪些页面能被抓取，哪些页面不能被抓取;可以屏蔽一些网站中比较大的文件，如：图片，音乐，视频等，节省服务器带宽;可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容;设置网站地图连接，方便引导蜘蛛爬取页面。

　　三、Robots.txt文件的作用是什么？

　　一般来说出于安全的考虑，在网站seo优化时写入robots.txt文件，实际上就是告诉搜索引擎蜘蛛，网站上哪些内容允许抓取，哪些内容不允许抓取，这样做可以提高搜索引擎的抓取效率，增加搜索引擎对网站的友好度。

　　四、Robots文件可以屏蔽的内容是什么？

　　1、图片目录图片是构成网站的主要组成元素。随着现在建站越来越方便，大量CMS建站。就存在大量的没有用到的图片，建议你应该在robots.txt文件中进行屏蔽，通常的网站图片目录是：imags。或者img;

　　2、网站模板目录如上面图片目录中所说，CMS的强大和灵活，网站的模板目录跟网站的内容主题不符，不利于集中网站的相关度。模板目录的文件目录是：templets

　　3、CSS、JS目录的屏蔽这个经常看见我们有些网站的css文件和js被收录了，想要被收录的文章没被收录，这对seo无用文件却收录，确实没有这个必要，也不利于集中网站的相关度。

　　4、屏蔽双页面的内容大家都知道DEDECMS可以使用静态和动态URL进行同一篇内容的访问，如果你生成全站静态了，那你必须屏蔽动态地址的URL链接。这里有两个好处：

　　1)、搜索引擎对静态的URL比动态的URL更友好、更容易收录;

　　2)、防止静态、动态URL能访问同一篇文章而被搜索引擎判为重复内容。

　　3)、模板缓存目录很多CMS程序都有缓存目录，这种缓存目录的好处我想不用说大家也清楚了吧，可以非常有效的提升网站的访问速度，减少网站带宽，对用户体验也是很好的。不过，这样的缓存目录也有一定的缺点，那就是会让搜索引擎进行重复的抓取，一个网站中内容重复也是大祭，对网站百害而无一利，很多使用CMS建站的朋友都没有注意到，必须要引起重视。

　　4)被删除的目录死链过多，对搜索引擎优化来说，是致命的。

　　五、网站robots.txt文件生成方法

　　首先登录网站后台，选择“我的站点”，在右侧的栏目中找到“编辑”，然后找到需要做robots的页面，点击进去；

　　以上内容就是XiaoerCMS干货分享的robots文件用途和生成方法，为了写这篇文章，小通可是研究了一个星期关于robots文件的内容，就是希望能实实在在帮助到大家，大家可以动手操作尝试，不动手操作，不认真研究，你始终迈不过这个坎，如果您觉得这篇文章对您有所帮助，可以高抬贵手，收藏我们的网站吧，再此感谢。

扫描二维码与小二CMS创始人沟通：

小二CMS专注于高端网站定制、系统开发、商城开发、外贸网站建设、公众号开发、小程序开发、网站优化推广、安全运维等技术领域。是高端定制网站领域著名服务商！