建站程序Z-BlogPHP应用中心在2026年10月15日上线一款名为清歌AI蜘蛛屏蔽的免费插件。从名称看，作用是按User-agent拦截以AI训练或内容采集为目的的爬虫，属robots.txt之外的另一种做法。
作用范围在robots之前
这类插件的作用范围比robots.txt更靠前，也更需要谨慎。robots.txt写错了，最坏的结果是爬虫不遵守；服务端拦截写错了，被挡住的请求不会留下任何提示，日志里看不到，收录变化要过几周才显现。
两者管的是不同层面。robots.txt是约定，爬虫自愿遵守，站方无法强制执行；插件在服务端按UA判断，能在请求进入程序之前直接返回，不需要对方配合。代价是UA可以伪造，伪装成普通浏览器的采集程序拦不住，两种手段只能减少而不能消除被采集的可能。robots.txt的写法本身不复杂：User-agent后面跟爬虫标识，Disallow后面跟路径，Disallow: /表示整站不抓，同一条规则下可以写多个Disallow，不同爬虫要分段落写。需要注意的是User-agent按前缀匹配，写了某个标识，所有以它开头的UA都会被覆盖，这也是误伤最常见的来源。
清单为什么要连国内爬虫一起看
AI类爬虫的标识增加得很快，各家命名并不统一。如果清单只抄了国外的几个标识，国内搜索引擎的抓取不在其中，站点在百度、360、搜狗、神马这些入口的收录不受影响。
误伤来自通配与默认值
问题出在反方向。一旦清单里出现通配写法，或者把某个通用前缀写进Disallow，被挡住的不只是AI爬虫。整站屏蔽之后，普通搜索爬虫同样进不来，收录会在几周内出现可见下滑，而这类下滑往往要等到流量报表出来才被发现。清单越长这种可能越大；每加一个标识，都应当先确认它对应的是哪一家的哪一条抓取链路，而不是按名称里有没有AI字样来判断。
还有一种情况值得单独留意：部分插件默认把带bot、spider字样的UA一并拦截。这类关键词覆盖面极广，能拦住采集程序，也会拦住一部分正常的搜索爬虫与站内监控。默认配置直接启用，等于把判断权交给了一个字符串，而站方并不清楚这个字符串背后有多少种真实爬虫。
上线前值得先做的一次核对
上线前第一件事是把清单与实际UA日志对一遍。服务器访问日志里能查到真实的爬虫标识与请求频次，哪些是搜索爬虫、哪些是采集程序，按频次与路径分布能分得比较清楚。凭名称猜测容易漏掉伪装成浏览器的采集，也容易误伤带了bot字样的搜索抓取。
第二件事是保留回退路径。屏蔽规则生效后先观察一段时间，看收录量、抓取频次、索引状态是否有异常；规则写成可注释的单行而不是整段删除，出问题时改回去的成本才低。第三件事是分清目的：如果只是不希望内容被用于模型训练，robots.txt里针对AI爬虫的段落就够用；如果要挡住高频采集、减轻服务器压力，才需要服务端拦截。观察期内不要叠加其他改动，否则收录量的变化无法归因。
申请创业报道，分享创业好点子。点击此处，共同探讨创业新机遇！
