众所周知SEO优化中robots文件是用来管理机器人抓取网站内容的，而robots.txt文件则是放在我们网站根目录下面的一个文本文件，用来规定什么蜘蛛（机器人）可以抓取什么文件，不可以抓取什么文件。我们通常用robots来告诉搜索引擎，这个目录你可以进，那个目录你不可以进；这个文件你可以访问，那个文件你不能访问。但是有些时候，robots文件，我们还是要谨慎使用的好。