网站目录中robots.txt文件的作用

手册/FAQ (526) 2017-01-07 13:36:45

 

 1、模板缓存目录

  很多CMS程序都有缓存目录,这种缓存目录的利益我想不用说咱们也了解了吧,可以十分有用的行进网站的访问速度,减少网站带宽,对用户体会也是极好 的。不过,这么的缓存目录也有一定的缺点,那就是会让查找引擎进行重复的抓取,一个网站中内容重复也是大祭,对网站百害而无一利。很多运用CMS搭站的朋 友都没有留心到,有必要要致使注重。

  2、图画目录

  图画是构成网站的首要构成元素。跟着现在搭站越来越便当,很多CMS的出现,真实做到了会打字就会建网站,而恰是因为如此便当,网上出现了很多的同质 化模板网站,被重复运用,这么的网站查找引擎是一定不喜爱的,就算是你的网站被录入了,那你的效果也是很差的。假定你非要用这种网站的话,建议你应当在 robots.txt文件中进行屏蔽,通常的网站图画目录是:imags 或许 img;

 3、网站模板目录

  如上面 图画目录 中所说,CMS的强大和活络,也致使了很多同质化的网站模板的出现和乱用,高度的重复性模板在查找引擎中构成了一种冗余,且模板文件常常与生成文件高度相 似,一样易构成一样内容的出现。对查找引擎很不友善,严峻的直接被查找引擎打入冷宫,不得翻身,很多CMS有具有独立的模板存放目录,因而,应当进行模板 目录的屏蔽。通常模板目录的文件目录是:templets

 4、被删去的目录

  死链过多,对查找引擎优化来说,是丧身的。不能不致使站长的高度注重,。在网站的打开过程中,目录的删去和调整是不行避免的,假定你的网站其时目录不 存在了,那有必要对此目录进行robots屏蔽,并回来精确的404过错页面(留心:在IIS中,有的朋友在设置404过错的时分,设置存在疑问,在自定义 过错页面一项中,404过错的精确设置应当是挑选:默认值 或许 文件,而不应该是:URL,以避免查找引擎回来200的状况码。至于怎么设置,网上教程很多,咱们要吧查找一下)

 5、CSS、JS目录的屏蔽

  CSS目录文件在查找引擎的抓取中没有用处,也无法供应有价值的信息。所以剧烈建议站长朋友们在Robots.txt文件中将其进行屏蔽,以跋涉查找 引擎的索引质量。为查找引擎供应一个简洁明了的索引环境更易行进网站友善性。CSS样式的目录通常情况下是:CSS 或许 style

  JS文件在查找引擎中无法进行辨认,这儿只是建议,可以对其进行屏蔽,这么做也有一个利益:为查找引擎供应一个简洁明了的索引环境;

  6、屏蔽双页面的内容

  这儿拿DEDECMS来举例吧。咱们都知道DEDECMS可以运用静态和动态URL进行同一篇内容的访问,假定你生成全站静态了,那你有必要屏蔽动态地 址的URL衔接。这儿有两个利益:1、查找引擎对静态的URL比动态的URL更友善、更简略录入;2、避免静态、动态URL能访问同一篇文章而被查找引擎 判为重复内容。这么做对查找引擎友善性来说是有益无害的。

THE END