当前位置:首页 >  热门标签 >  屏蔽gptbot

屏蔽gptbot

robots.txt里加了两行,User-agent写GPTBot,Disallow写一个斜杠,按robots的约定,训练语料那条口子就关上了。加完第二天,老板问了一句,AI搜索里是不是也看不到我们了。这两件事在robots里是分开管的。OpenAI官方公布的名字里,GPTBot用于抓取训练语料,OAI-SearchBot用于搜索展示,ChatGPT-User是用户当场触发访问时才来,三个名字管三

阅读全文
  • 屏蔽GPTBot只挡训练,搜索可见性由搜索类爬虫决定
    robots.txt里加了两行,User-agent写GPTBot,Disallow写一个斜杠,按robots的约定,训练语料那条口子就关上了。加完第二天,老板问了一句,AI搜索里是不是也看不到我们了。这两件事在robots里是分开管的。OpenAI官方公布的名字里,GPTBot用于抓取训练语料,O
    2026-10-24 15:00

信息推荐