说到屏蔽搜索蜘蛛的抓取，自然而然的就会想到robots.txt文档。robots.txt是什么？其实在此前笔者也已经对此进行了基础的说明。robots.txt是一种存放在网站空间根目录下的文本文件，是一种协议，用来告诉搜索蜘蛛网站中哪些可被爬行抓取，哪些不可被爬行抓取。然而，在这里，笔者有着这么一个疑问，robots.txt是否能彻底屏蔽蜘www.woolrichonline.biz蛛的爬行抓取呢？
11月
05
2014
robots 到底是个什么玩意，有何作用？
搜索引擎使用spider程序自动范文互联网上的网页并获取网页信息。Spider在访问一个网站时，会首页检查该网站的根域名下是否有一个叫robots.txt的纯文本，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站上创建一个robots.txt，在文件中声明改网站中哪些目录不让搜索引擎收录。（robots.txt文件应该放置在网站根目录下。）
1、 Robots的用法
User-agent：定义进制搜索引擎名字，比如说：百度（Baiduspider）、谷歌（Googlebot）、360（360Spider）等。*号代表全部搜索引擎
-
图标汇集
