让网站更轻松地表达 AI 训练偏好
原题Making it easier for websites to express AI training preferences
推荐理由OpenAI 采用共享训练偏好信号，让网站减少逐家维护爬虫规则的负担。适合内容运营者理解表达偏好与不同 AI 服务采纳之间的关系。
读前速览
OpenAI 宣布支持 robots.txt 中的一项通用信号，使网站运营者能够同时向多家提供商传达其 AI 训练偏好，从而简化为基础生成式 AI 管理内容使用的过程。
引入通用信号
文章宣布 OpenAI 支持 robots.txt 中一项新的共享信号，使网站运营者能够同时向多家提供商表达其 AI 训练偏好。这使沟通流程标准化，而此前该流程较为分散，需要为每家提供商单独制定规则。
协作与标准化
该举措是互联网工程任务组（IETF）AI Preferences 工作组持续工作的成果。通过加入这一努力，OpenAI 为开放 Web 标准的制定作出贡献，在 AI 开发者的需求与内容创作者的权利之间取得平衡。
实施与后续步骤
OpenAI 计划在未来几个月内实施这一新信号，确保其与现有的爬虫控制机制协同运作。该公司鼓励其他 AI 提供商采用这一信号，以促进一个更透明、更高效的 AI 训练数据管理生态。
完整摘要
OpenAI 正在采用 robots.txt 中的一项共享信号，以简化网站运营者就自身内容用于 AI 训练表达偏好的方式。该举措属于 IETF 的 AI Preferences 工作组的一部分，旨在减轻发布者的工作负担，让他们能够一次性向多家 AI 提供商传达相同的偏好，而无需为每家提供商分别维护规则。这一新信号将在未来几个月内实施，并将与现有的爬虫控制机制相辅相成。
今天，我们宣布，OpenAI 将遵循 robots.txt 中的一项通用信号（在新窗口中打开）。robots.txt 是一种文件，网站可通过它表达对其内容用于基础生成式 AI 训练的偏好。这项自愿举措让出版商和网站运营者能够更轻松地同时向多个参与的服务提供商传达相同的偏好。Today, we’re announcing that OpenAI will honor a common signal(opens in a new window) in robots.txt, the file that lets websites express their preferences about the use of their content for foundational generative AI training. This voluntary effort makes it easier for publishers and website operators to communicate the same preference to multiple participating providers at once.
过去，网站运营者需要识别各个爬虫，并为每家服务提供商分别维护规则。在多个服务提供商之间共享信号，可以减少运营者的这项工作。Previously, website operators would identify individual crawlers and maintain separate rules for each and every provider. Having a shared signal across multiple providers reduces that work for operators.
我们计划在未来几个月内实现这一信号，并会在实现时分享后续更新，介绍相关细节。这项新信号不会取代我们通过 robots.txt 提供的现有控制选项。我们现有的爬虫控制选项（在新窗口中打开）让网络内容发布者能够灵活控制自己的页面，今后仍将继续适用并受到尊重。We aim to implement the signal in the coming months, and will share another update with details about our implementation when we do so. This new signal will not replace the controls we already provide through robots.txt. Our existing crawler controls(opens in a new window), which provide web publishers flexibility and control over their pages, will continue to apply and be respected.
这项工作借鉴了互联网工程任务组（IETF）人工智能偏好工作组正在开展的工作（在新窗口中打开）。今天宣布这一共享信号时，我们与工作组中的其他参与者一道参与其中，并相信这将进一步巩固我们持续参与 IETF 标准讨论的立场。随着相关讨论和整个领域不断演变，OpenAI 将继续调整自身做法，同时兼顾适当的控制措施与公平性。This draws on the ongoing work(opens in a new window) of the Internet Engineering Task Force’s (IETF) AI Preferences working group. We’re joining other participants in the working group in today’s announcement of this shared signal, and believe this strengthens our continued participation in the IETF standards discussions. OpenAI will continue to adapt its practices as those conversations and the landscape continue to evolve in view of appropriate controls and fairness.
我们相信，这是迈向开放网络的一项务实举措：人们可以发布和发现信息，网站所有者也能以更清晰、更简单的方式表达他们对内容使用方式的选择。我们鼓励其他 AI 服务提供商尊重这一信号。We believe this is a practical step toward an open web where people can publish and discover information, and website owners have clearer, simpler ways to communicate their choices about how their content is used. We encourage other AI providers to honor the signal.