OpenAI、Google、Microsoft、Anthropic 将支持 robots.txt 中的 AI 抓取统一退出标准

导读

OpenAI、Google、Microsoft 和 Anthropic 表示将采用一个新标准，让发布者通过 robots.txt 中共享的 policy token 一次性声明针对多家 AI 公司的训练退出偏好。