robots.txt文件的奥秘

robots.txt文件的奥秘

作者：陈希章
出处：http://blog.csdn.net/chen_xizhang

robots.txt毫无疑问是一个文本文件，关键在于这是一个特殊的文本文件。

在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定