Discuz的robots.txt使用代码

手册/FAQ (724) 2016-02-18 09:58:47

User-agent: *

 

#禁止一个版面的收录

#如果有个水版,不想禁止游客权限,也不想SE收录,已免影响网站质量,可以用如下方法

Disallow: /forum-1-

 

#数字即为要禁止版块的ID。

#注意数字最后的 - 不要省略,否则连ID为11,12等1开头的版都禁了

 

#再禁网页复制

Disallow: /viewthread.php

#这个是内容页的动态形式,前面对伪静态做了优化并修改了很多的复制网页,因此这里动态形式如打印页等一定要禁止

 

Disallow: /forumdisplay.php

#这个要慎重:列表页的动态形式,还包括精华、活动、投票等形式。我发现5.0的静态化不彻底,它的上一页下一页翻页仍是动态,这样如果禁止了,十页之后的内容就不能通这索引了。所以如果您站内的交差链接不丰富的话,不要在此禁止,以免影响收录。

 

hekaiyu说没有这个问题,去官方看了下5.5的确没问题(也许我的5.0本来没问题,也许官方在新版本中完善了正则表达式的替换规则),这样更好了,禁止它,又干净了好多

 

#禁止其它无用内容

Disallow: /profile

#用户信息,不知为什么discuz也静态化了,一律禁止

Disallow: /relatethread

Disallow: /post

Disallow: /blog

Disallow: /member

Disallow: /misc

Disallow: /faq

Disallow: /my

Disallow: /pm

Disallow: /digest

Disallow: /status

# ... ... 等等

# ----- robots.txt end ------

[更新]dz5.5的robots.txt后部分给出的Disallow: post.php等是不合规范的,一定要在前面加上"/"

THE END