OpenAI、Google、Microsoft 和 Anthropic 支持新的 AI 抓取退出标准
OpenAI、Google、Microsoft 和 Anthropic 宣布将采用一项新标准，允许网站通过 robots.txt 文件中的共享 policy token 统一拒绝被 AI 爬虫抓取用于训练。
OpenAI、Google、Microsoft 和 Anthropic 宣布将采用一项新标准，允许网站通过 robots.txt 文件中的共享 policy token 统一拒绝被 AI 爬虫抓取用于训练。