OpenAI 宣布将支持 robots.txt 通用信号表达 AI 训练偏好

导读

OpenAI 宣布将支持 robots.txt 中表达 AI 训练偏好的通用信号，网站运营方可一次向多家参与厂商传递同一偏好，不必再为每个爬虫单独维护规则。该信号来自 IETF AI Preferences 工作组的持续工作，OpenAI 计划在未来几个月内实现，现有爬虫控制仍继续有效。