OpenAI 将支持 robots.txt 中的共享 AI 训练信号

关键信息

这项倡议是自愿的，建立在 IETF 的 AI 偏好工作组持续推进的工作之上；OpenAI 表示，新信号不会取代现有的 robots.txt 爬虫控制规则。该公司尚未公布具体实现细节，并表示后续实施时会另行更新。

资讯摘要

OpenAI 宣布，将遵循 robots.txt 中的一项共享信号，用于表达网站运营者是否同意将其内容用于基础生成式 AI 训练。这项举措旨在让出版商能够向多个参与的 AI 服务商传达同一项选择。此前，网站运营者需要识别各家服务商的爬虫，并分别维护相应规则。OpenAI 表示，共享信号可以减少这类管理工作。

该公司计划在未来几个月内落实这一信号，并将在后续更新中提供更多细节。新信号不会取代 OpenAI 现有的 robots.txt 爬虫控制措施。这项公告建立在 IETF 的 AI 偏好工作组持续推进的工作之上，OpenAI 也鼓励其他 AI 服务商遵循该信号。

来源与参考

1. 原始链接
2. Making it easier for websites to express AI training preferences