1、robots.txt即robots协议，是搜索引擎中访问网站的时候要查看的第一个ASCII编码文件，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，当蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在蜘蛛就会按照该文件中的内容来确定访问的范围；如果该文件不存在蜘蛛将访问网站上所有页面。
2、利用robots不仅可以屏蔽一些网站中的图片、音乐、视频等比较大的文件，同时也可以屏蔽站点的一些重复连接或死链接,这样不仅可以节省服务器带宽也可以提升用户搜索体验。所以今天我们要使用robots.Txt来屏蔽重复连接，不过Robots 文件的生效时间一般为Robots文件更改后4周后生效，并不是修改后马上生效哦。
robots.txt一般放在放置在网站根目录下，虽然体验中我们有检测到robots.txt文件，可是在服务器根目录并没有找到该文件，查找了/WEB以下目录中也没有robots.txt文件。
3、但是我在七牛云后台【内容管理】里发现了robots.txt文件，为了验证这个文件是否来之七牛云，我将七牛上的robots.txt文件先下载到本地，然后将其删除。
4、删除之后我们重新用“站长之家”对网站www.itfan.vip进行体验，但是还是检测到robots.txt文件的存在。
5、找了很久在“七牛云存储”插件后台找到一个robots.txt文件，这里有设置搜索引擎的抓取规则，robots.txt中语句是如下所示这样写的：
User-agent: *
Disallow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Baiduspider-image
Allow: /
6、解释：
User-agent: * 是代表允许所有的搜索引擎访问网站
Disallow / 是代表禁止、不允许的意思，也就是禁止访问根目录
User-agent: Googlebot-Image 是代表允许Googlebot-Image（谷歌图片抓取机器人）访问网站并访问网站的图片
Allow: / 是代表允许的意思，也就是允许蜘蛛访问根目录及以下的图片，后面两个也是同样的意思，允许百度图片抓取机器人蜘蛛访问根目录及以下的图片。
7、这里我们把文件清空尝试下是否是该文件在控制着索引擎对网站的抓取规则，悲剧的是怎么也删除不了，七牛后台的【镜像存储】中勾选的使用默认的 robots.txt 配置文件也无法取消，但是更新有效，看来只能在这里对robots.txt进行更改了。
