这项新控制机制将使出版商能够在多个爬虫之间统一应用其人工智能训练偏好。
这项新控制机制将使出版商能够在多个爬虫之间统一应用其人工智能训练偏好。
据搜索引擎圆桌会议早前报道，OpenAI、Google、微软和Anthropic表示，他们将采用一项新标准，供出版商用来选择是否被人工智能抓取。借助这一控制机制，出版商可以在多家人工智能公司之间统一应用其人工智能训练偏好，而无需逐一设置。
这一共享的“策略令牌”信号由Anthropic的标准技术负责人凯文·凯利提出，作为互联网工程任务组（IETF）的一部分。它将嵌入在网站的robots.txt文件中，该文件长期以来用于指示哪些网络爬虫可以或不可以抓取某个站点——无论是用于搜索索引、存档还是人工智能训练。目前，各站点必须分别向每一家人工智能公司单独声明其人工智能训练偏好。
这一公告发布之际，各大出版商正艰难应对持续涌入的AI爬虫，这些爬虫不断抓取其网站内容并将其输入AI模型。一些公司和组织已尝试打击未经授权的爬取行为，其中“真正简单的许可”（RSL）标准使出版商能够对访问其网站的爬虫收取费用，而Cloudflare则默认屏蔽AI爬虫。
OpenAI、Google、微软和Anthropic表示，如果其AI爬虫遇到共享令牌，将限制访问相关网站。不过，微软还将提供更精细的控制选项，允许出版商选择退出AI训练或AI校准——即通过将AI模型指向经过验证的信息源来减少幻觉现象的过程。微软指出，无论出版商如何设置，网站仍会出现在Bing的搜索结果中。
尽管Anthropic已经采用了该信号，但Google和微软计划于明年支持这一功能。OpenAI则表示将在“未来几个月”内予以实施。
艾玛·罗斯
Anthropic
微软
最受欢迎
Reddit 将强制所有人登录
微软的人工智能未来将减少就业岗位
Apple Pencil让Duo成了我新的最爱笔记本
Anthropic的商业计划：要么造出上帝，要么拼死一试
山姆·阿尔特曼对数学家表示同情，但称OpenAI的数学攻势不会停止
这就是原生广告的标题