Google、Anthropic、OpenAI 和 Microsoft 共同承诺遵守新的 robots.txt 指令,让网站出版商可以在生成式 AI 训练方面,指定他们的偏好。该提案是在 IETF 开放标准组织的讨论范围内,由 Anthropic 的技术主管 Kevin Kelley 编写,旨在以单一信号被多家 AI 公司承认和执行。
目前网站拥有者需要逐个识别不同的爬虫,为每个提供商设置单独规则;而新指令将由多家 AI 公司共同认可一个通用信号,从而简化管理流程。网站管理者需要在 robots.txt 中新增一个专用于 AI 训练的用户代理(user agent),格式大致为某个特定字符串,以此阻止用于 AI 训练的抓取行为,在某些情况下还可以允许对特定部分页面的抓取,如有 press kit 等资料。
Google 和 OpenAI 已经解释,该指令不会影响现有的网页收录,也不会完全阻止网站内容被提取,并不会阻止 Google 搜索结果的显示。举例来说,Google 会将这个新的 user agent 当作“停止标志”,用于“Google-Extended”用户代理,专为 Gemini 模型训练而设。这个变动不会撤回过去已经采集的内容,只会阻止未来的抓取。
Anthropic 已经开始支持新的指令,而 Microsoft 表示将于 2027 年 2 月 1 日开始支持,Google 也将在 2027 年初加入,OpenAI 则表示会在未来几个月内实施这个信号。就目前公布的信息,这些公司的承诺同时照顾到现有数据的价值和未来数据训练的合规性,为多方提供一条统一的通道,避免每个提供商都要另起炉灶的繁琐流程。
新指令的实施细节和影响范围,可能改变 AI 训练的数据来源格局
新的 robots.txt 指令是为了解决“自行爬取与训练数据”之间的平衡,让出版商在尊重内容产权和促进创新之间取得比较透明的界线。唯一需要注意的是,若过去某些页面已经被爬取,现有的新信号无法撤销这些过往行为;未来的抓取才会按照新规则执行。这个设计意味着短期内可能不会改写已经形成的训练数据库,但长远会提高对新内容的选择性抓取。
对出版商来说,这个改动提高了可控性,特别是对于包含 press kit、品牌资源或提供者专用内容的页面。在实际操作中,管理者可以用单一的信号对多家 AI 公司发出指示,减少逐家无效的规则设置,同时保留对特定内容的允许抓取权限。这种平衡有助于保留创作方的版权控制力,同时减轻 AI 企业在数据来源方面的不确定性。
在技术层面,这个新信号是以“专用用户代理”形式加入 robots.txt,并由 Google、OpenAI、Microsoft 等主要玩家共同遵循。虽然这个机制不会影响现有的网页搜索,也不会限制网站被访问的权利,但实际实施需要网站运营者自动化处理,确保正确的页面被标注为可用于 AI 训练或被阻止。随着各家的落地时间表逐步推进,整体格局可能出现更加统一的数据来源管理策略。
同时,当限制在特定页面的抓取时,出版商仍然有机会在允许清单中注明例外,例如提供媒体资料包的部分内容。这个设计的好处在于不会全面封死网站内容在训练数据中的可见性,反而通过精细化控制,让创作者保留对核心资产的话语权。整体来看,这项新规范可能促使 AI 训练数据来源更加透明,也有助于建立更可预测的商业模式。
如需参考官方动向,OpenAI、Google 和 Anthropic 等机构的公告及 IETF 提案文档均可在公开渠道查阅,相关讨论也有机会在未来几个月内推进。对用户而言,这些变化较偏向出版商与 AI 企业的互动规范,短期内不会直接改变普通用户在网页的日常使用体验,但长远有可能促使更多网站在内容授权与数据使用方面建立清晰的自我规范。

