Robots.txt 文件对抓取网络的搜索引擎漫游器（称为漫游器）进行限制。这些漫游器是自动的，在它们访问网页前会查看是否存在限制其访问特定网页的 robots.txt 文件。如果你想保护网站上的某些内容不被搜索引擎收入的话，robots.txt 是一个简单有效的工具。这里简单介绍一下怎么使用它。
如何放置 Robots.txt 文件
本文来自: 家园网 （www.1520cc.cn) 详细出处参考：http://www.1520cc.cn/article/view.asp?id=1151
[更多查看原文]
挖友还挖到了什么 · · · · · ·