互联网

robots.txt的写法

网站根目录可以放一个robots.txt,那么遵守这个约定的搜索引擎,就会先判断这个文件,这个网站哪些内容是可以检索的,哪些是不可以的。

所以我们可以把自己正在测试的、或者隐私的加在robots.txt里,不让搜索引擎看到。

robots.txt也和白名单、黑名单有相似之处。比如:

1
2
3
4
5
6
7
8
9
#
# robots.txt for Discuz! X2
#

User-agent: *
Disallow: /api/
Disallow: /data/
Disallow: /source/
Disallow: /install/

这就是黑名单,这些目录是不允许蜘蛛采集的。
也可以写成白名单,allow,允许某些目录,其他目录都不允许。

发表评论

电子邮件地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据