robots.txt是站点给爬虫的第一份说明书，写对了该抓的抓、该挡的挡，写错了轻则屏蔽一堆页面，重则把整站挡在门外。很多人不敢动这个文件，怕出问题；其实它的语法就几条，把位置、大小写和几个指令记牢，剩下的都是填空。下面从放到哪、写什么、怎么验证三步讲，末尾给一份可以直接抄的常用配置。一、先放对位置、写对文件名现象：有人把robots.txt放进子目录，或者命名成robot.txt，改了半天一点效