본문으로 건너뛰기
AI NEWS JOURNAL
腾讯新闻 · AI频道AI NEWS / JOURNAL

个人Agent市场值1.7万亿,AI学会绕过监控训练恶意AI|AI一周观察2026W45

腾讯科技企鹅智库旗下AI领域一周观察:一周一期,比信息整合深一步 文|博阳 编辑|徐青阳 一、产业 1. Anthropic 披露近 9000 亿美元算力预算....

번역 서비스가 일시 중지되어 원문을 표시합니다.

腾讯科技企鹅智库旗下AI领域一周观察:一周一期,比信息整合深一步

文|博阳

编辑|徐青阳

一、产业

1. Anthropic 披露近 9000 亿美元算力预算,引发市场进一步投资迟疑

11 月 2 日,Anthropic 在更新的上市申请修订稿中披露了一组令市场瞩目的财务承诺数据:截至今年 9 月底,公司签署的采购、租赁以及尚未正式启动的相关基础设施安排合计高达约 8954 亿美元,其中绝大部分直接指向算力集群与底层数据中心设施。

其中约 4475 亿美元预计在 2030 年底前逐步发生,若按截至 9 月底的口径计算,未来十二个月内到期的刚性支出约为 698 亿美元。此外,在接近九千亿美元的总额中,约有 2138 亿美元的合约附带可行使的终止权。

在算力芯片与高规格电力机房极度紧俏的行业背景下,头部大模型厂商通过跨年度的巨额长约提前锁定稀缺供给,是构建竞争壁垒的常规动作,但在当下,这成了一个暗雷。

Anthropic 披露的 8954 亿美元算力账单,恰逢 11 月初全球科技股迎来新一轮剧烈回调,这两件事共同标志着 AI 资本周期的分水岭已经到来。

在上半场,任何一笔千亿美元级别的算力长约都会被华尔街视作芯片与云厂商的确定性订单,直接推高整个硬件链条的估值。但在下半场,当 Anthropic 亮出高达 4475 亿美元的 2030 年前刚性支出与“照付不议”条款,而二级市场同时看到云巨头自由现金流承压、地方公投密集阻击数据中心扩建时,庞大预算反而加剧了市场的投资迟疑。

11 月初芯片与算力租赁板块的暴跌,并非因为当下的算力需求突然消失,而是市场正在强行剥离过去两年的“叙事溢价”。

接近九千亿美元的承诺像一面镜子,照出了 AI 产业接下来的残酷真相:供给端的扩张已经把未来十年的杠杆加到了极致,接下来无论是准备上市的 Anthropic,还是为它提供弹药的云巨头与芯片商,都无法再靠公布更大的资本开支数字来取悦市场,唯一的解药只有下游像 Airbnb 那样真金白银省下 17% 成本的企业级复购,能否在每一个季度跑赢算力账单到期的速度。

2. OpenAI 拟收购 Pierre ,AI模型公司开始打造给AI用的GitHub

11 月 4 日,OpenAI 在公司公告中宣布拟收购代码工具团队 Pierre(交易仍待最终交割),核心看重的是 Pierre 在代码存储(Code Storage,曾支撑 AI 编程平台 Lovable 每周新建超 800 万个仓库、峰值每秒 250 个仓库)领域的技术积累,以及此前已被集成到 OpenAI 编码智能体 Codex 中的目录树(Trees)、代码差异比对(Diffs)等前端展示与审阅组件。

几乎在同一时间,OpenAI 还在 11 月 2 日的技术分享中披露了另一项独立推进的基础设施工程,公司自主研发的 Git 后端系统 Pando,日均处理约 1PB 的 Git 数据,将内部代码推送的中位耗时压缩了近 80%。

无独有偶,OpenAI 最大的竞争对手 Anthropic 也在做同一件事,甚至步子迈得更激进。今年 10 月中旬,Anthropic 宣布在内部巨型单体仓库(Monorepo)中正式弃用 Git,全面迁移至由 7 人团队历时 5 个月从零自研的版本控制系统 Scion 以及配套的代码审查工具 Antique。

Anthropic 披露的数据称,受 Claude 编码智能体大规模投入使用的影响,公司内部的日均代码合并量从 2026 年 5 月的 2500 次飙升至 9 月的 3 万次以上,4 个月内暴涨 12 倍。仅 CI(持续集成)环境每天就要执行约 2500 万次代码检出,日均产生超过 600PB 的 Git 流量。

两大 AI 基础模型巨头之所以在短短一个月内先后对底层代码工具“动刀”,根源在于编程智能体工作模式的转变正在彻底改变软件工程的瓶颈位置。过去人类程序员按部就班地单线编写代码,Git 默认“客户端离线工作、人人本地保有完整仓库副本”的分布式对等设计,以及 GitHub 现有的代码审查流足以应付。但现在的编码智能体永远在线,可以在后台沙箱中同时拉起数十个并行分支,针对同一个需求快速生成大量不同实现方案,并触发海量的自动化测试检出。

当写代码的速度被指数级放大后,不仅 GitHub 在 11 月初接连出现 Git 操作与合并请求(PR)异常,整个工程流水线的压力也瞬间传导到了两个核心环节:“底层如何高吞吐、低开销地保存并检出海量代码版本”,以及“人类开发者如何快速看懂、比较并审阅智能体到底改了什么”。

面对这两大难题,OpenAI 与 Anthropic 交出了架构思路不同、但功能拼图高度对称的面向AI编程的新仓库系统。

一方面,在底层存储与吞吐层(Pando / Pierre Code Storage vs. Scion)OpenAI 选择在兼容 Git 协议的前提下做深度改造,对内用 Pando 承接自家工程师与智能体的高频读写,对外拟通过 Pierre 的 Code Storage 让 Codex 用户直接在产品内完成仓库托管。

而 Anthropic 的 Scion 则直接抛弃了 Git 的树快照(Tree Snapshot)与本地完整克隆范式,改用基于预写式日志(WAL)与 Spanner 的服务端“增量变更集(Changeset)”架构,按需稀疏检出,将基础设施资源消耗降至原先 Git 镜像群的 1/200,并把 CI 和研究任务的代码检出速度提升了两个数量级(从数分钟缩短至几秒)。

另一方面,在前端审阅与交互层(Pierre Trees & Diffs vs. Antique)光存得下还不够,智能体一天合并上万次代码,人类必须审得过来。

OpenAI 收购 Pierre 将 Trees 与 Diffs 原生融入 Codex 界面,让开发者在智能体生成代码的同时直观比对版本差异、筛选合格实现。Anthropic 则同步配套自研了代码审查平台 Antique 与批量提交管理系统。

从“内部自研高并发存储后端”到“构建面向智能体工作流的专用审阅界面”,头部 AI 厂商正在绕开以 GitHub 为代表的传统人类协作基础设施,围绕编码智能体重新定义软件工程底座。

3. Airbnb 披露AI应用成果,目前四成客服问题无需人工介入,成本同比下降超 17%

11 月 5 日,全球民宿预订平台 Airbnb 在发布的第三季度财报中交出了一份罕见的具体经营成绩单:平台目前约有 40% 的全部客户服务问题已经能够在完全没有人工客服介入的情况下自动处理完毕,这一比例在上一季度还维持在三分之一左右。

与此同时,平台每一次住宿预订所分摊的客服运营成本同比下降了超过 17%,公司管理层将 AI 客服系统的规模化部署列为推动成本显著下降的核心原因之一。

在过去一两年的企业级 AI 宣传中,外界经常看到各类软件厂商宣称其客服机器人的“问题解决率高达 80% 甚至 90%”,但这类统计往往存在口径陷阱,它们通常只拿“成功进入 AI 聊天窗口”作为分母。Airbnb 此次财报数据的含金量在于,它直接采用“平台产生的全部客服问题”作为统计分母,正面回答了“引入客服智能体究竟能不能帮大型消费平台省下真金白银”的疑问。

4. Kimi K3.1 Pro 遭遇刷题质疑

11 月 4 日,月之暗面(Moonshot AI)通过开源项目仓库正式公开了旗舰模型 Kimi K3.1 Pro 的完整权重。根据官方模型卡披露的数据,这是一个采用混合专家架构(MoE)的超大规模模型,总参数量高达约 2.8 万亿,每次前向计算激活约 1040 亿参数,支持长达百万 token 的上下文窗口,并采用专用许可证开放。这为具备雄厚算力储备的机构进行私有化自托管、垂直领域深度定制以及外部透明检查提供了实质性条件。

然而就在权重公开的前一天(11 月 3 日),独立研究机构 R40 Research 发布的一份针对此前 Kimi API 版本的审计报告,将行业内敏感的“评测基准污染与规则过拟合”问题摆上了台面。

在针对命令行操作能力的 Terminal-Bench 评测中,审计人员发现在 189 次测试尝试里,竟然有 23.3% 的情况下,模型自己写出了一些在当前对话提示词和环境上下文中根本没有提供、却与该评测基准后台隐藏的评分规则高度吻合的操作指令。

为了进一步验证模型究竟是在现场理解任务,还是在背诵训练时见过的考题规则,研究人员专门设计了四项“反向修改任务”,故意把测试环境中的规则改掉;结果在其中三项任务里,模型依然固执地按照原本的旧规则去执行操作。审计作者认为,这种反常表现与模型在训练阶段接触过包含隐藏评测规则的数据高度相容。

二、前沿研究

1. METR报告揭示,依靠自动化 Anthropic 模型能力增速翻倍

11 月 5 日,知名独立模型评估机构 METR 发布了一份深度报告,专门评估 Anthropic 内部的 AI 研发工作是否已经因为使用自家大模型而出现了实质性的加速。为了尽可能贴近真实研发过程,METR 综合调用了 Anthropic 内部的模型演进快照、综合能力指数(AECI)以及针对一线研究人员的深度访谈。

统计模型给出的主估计结果显示,自 2025 年 10 月之后,Anthropic 综合能力指数的增长速度大约提升到了此前历史增速的 1.9 倍(95% 置信区间落在 1.5 倍至 2.8 倍之间),直观反映出模型在各项基准测试上的能力爬坡速度明显变快。

相比于宏观的统计数字,针对内部员工的访谈揭示了研发一线更为具体的协作机制变化——研究者开始真正“委托实验”。过去,人类算法工程师需要自己一行行编写实验代码、手动盯着训练日志并处理报错;而现在,研究者正普遍转向把相对完整的编程模块和实验执行流程打包交给 AI 智能体去推进。访谈中,研究员 J 明确区分了“模型能够自主写代码”与“模型配合脚手架(scaffold)后能够自主开展实验”两个阶段。研究员 E 则描述过将十个想法同时交给 scaffold 执行,再从中筛出值得继续深挖的方向。

促成这一转变的核心,是模型能力完善与 Harness(执行体系) 成熟的共同作用。这套围绕模型组织上下文、调用工具和检查结果的执行系统,让智能体能够顺着实验反馈连续不断地独立跑完耗时较长的工程任务,大幅减轻了研究者逐步操作和照看的负担。

模型能力由此真正转化为编程与实验执行的生产率:一方面,实现成本的下降改变了“哪些想法值得尝试”的边界。另一方面,人类研究员得以从繁琐的手工执行和漫长的电脑前等待中解放出来,将核心精力集中在更具战略价值的“研究问题挑选”与“实验结果判断”上。

这一机制也为研发加速提供了一个不必先假设“持续递归自我改进(RSI)”的务实解释:仅靠一次执行体系(Harness)的成熟,就足以让团队在此后一直保持更高的实验吞吐。此外,当编程与实验执行变快之后,研发的限制正逐步转向研究判断与实验算力。

2. OpenAI 发布 LifeVal 生活任务基准,测试个人AI当下的可能性

11 月 2 日,OpenAI 正式公布了一项名为 LifeVal 的全新评测基准,并于 11 月 4 日在 arXiv 上公开了配套学术论文。

与以往聚焦奥数竞赛或专业编程的跑分不同,研究团队先以美国时间使用调查(ATUS)与多国时间使用研究(MTUS)为底座,筛除软件无法代劳的纯体力活动,梳理出 148 类日常事务。为此,团队针对 3837 名美国成年人开展了一项大规模的经济学付费意愿调查,以此摸清普通人在日常生活中最愿意花钱雇人代劳的事务优先级。

在问卷设计上,受访者被要求想象一个“完全懂自己偏好、且绝不犯错”的理想数字超级助手,并对各类事务给出估值。研究团队削平极端高价后,按全美成年人口外推加总,折算出了高达约 1.7 万亿美元的美国年度潜在付费意愿。

随后,团队围绕这些高价值痛点,招募有真实办事经验的创作者,利用其脱敏后的真实 ChatGPT 历史记录精心构造了 169 个高度个性化的复杂生活任务,广泛覆盖了寻找儿童托育机构、筛选求职机会、规划跨城搬家以及管理家庭日常财务等繁琐场景。

在测试中,LifeVal 并非“裸测”模型的基础文字问答,而是搭建了一套完整的通用 Agent 执行框架(Harness)与高仿真应用沙盒。这套底座整合了浏览器操作(Browser Use)、计算机本地环境读写(Computer Use)以及外部应用连接器(Connectors),并配有一套可复现的仿真网页、应用后台与动态网页缓存。

模型不能只靠嘴皮子给出建议,而是必须同时调取虚拟用户的历史聊天记录、个人偏好记忆以及本地文件夹中的文档,在高度仿真的应用操作环境中真正点击页面、填报表单、生成文件,把事情办妥。

根据论文图表披露,在推理预算配置与上下文调用成本各异的条件下,上一代 GPT‑5.2 各版本的平均奖励得分仅徘徊在 28% 到 49% 之间(主力配置约 49.3%),而新一代旗舰模型 GPT‑6 Astra 的平均得分则大幅跃升至约 67% 到 83% 的区间(主力配置达 80.6%)。

需要特别留意的是,这里的“奖励百分比”衡量的是单道复杂任务中各个细分评分项的完成程度。在实际生活中,帮用户办一桩搬家或托育申请,拿到 70% 到 80% 的步骤分往往意味着还有关键的收尾操作没能完成,用户依然得亲自下场核对甚至收拾残局,整件事在现实中依然可能卡壳。

LifeVal 的推出,实际上把个人 AI 助手的考题推向了最难啃的两个硬骨头:一是模型能否像细心的私人秘书一样,从极其散乱、跨度极长的日常闲聊历史中精准打捞出用户潜藏的真实约束条件(例如某次随口提到的过敏史或预算红线)。二是能否分毫不差地让这些约束条件指导接下来的跨软件操作。

尤其在“个人记忆打捞”这一环,评测框架故意没有为模型配备提前提纯信息的“保姆级”检索外挂,而是将历史数据分置于“任务附加文档”“显式记忆列表”和“长程历史对话”中,考验模型在通用工具循环里自主检索的原生能力。

论文附录的消融测试暴露了当前大模型最常犯的通病:当关键细节直接放在附加文档里时,对应评分项的得分率为 55.8%;放在显式记忆中时降至 47.8%。而一旦埋入过往历史对话,得分率便暴跌至 33.33%。哪怕研究人员把附加文档里的同一句话原封不动挪进历史对话,得分率也会瞬间从 55.8% 跌到 41.5%。

轨迹审计进一步发现,许多模型在翻找历史记录时仍依赖粗糙的关键词匹配,甚至靠会话标题和文件名“撞大运”——如何把长程记忆检索与复杂工具执行真正缝合起来,仍是横在个人数字助手面前的最大门槛。

3. 权重空间编程的火花,发现AI相对擅长理解神经网络的参数

围绕“大模型能不能自己读懂并修改另一个神经网络的参数”这一前沿话题,Rikiya Takehi 等人在 11 月 2 日发布的研究博客《权重空间编程的火花》(Sparks of Weight-Space Programming)引发了社区的广泛讨论与复现。

这项研究最让人兴奋的发现是:大模型似乎很擅长推测神经网络内部参数的作用。 哪怕面对的是陌生的模型权重,它也能通过观察或简单的探测实验,定位出特定参数负责什么功能。

在博客展示的一个典型实验里,研究人员先把 Qwen3.5‑0.8B 设成了极易陷入“死循环输出”的状态,导致它在 MATH‑500 数学测试中只能拿到 7.9% 的低分;随后让大模型介入去诊断并修改参数,成功帮它把成绩拉升到了 48.1%。

11 月 3 日,知名开发者 Simon Willison 也用本地部署的 Qwen 27B 模型,成功复现了原博客四项参数识别任务中的三项,进一步印证了这种能力并不是偶然。

不过,开源社区专家 Matthew Honnibal 也提醒大家,在看待“数学成绩从 7.9% 暴涨到 48.1%”这一结果时,需要分清原博客里的两类不同实验:

一类是针对微型网络的实验,大模型确实只靠直接读取原始参数数字,就能推测出网络在干什么。

另一类则是针对 Qwen3.5‑0.8B 这类较大模型的修复实验,这时大模型并不是单靠“肉眼硬看”几亿个浮点数,而是通过写 Python 代码去统计参数特征,并在最多 50 次的测试反馈中一步步排查出引发死循环的参数,最终把模型修好、让分数恢复正常。

经过社区的这轮讨论与复现,这项研究的真实价值也变得更加清晰:现阶段的大模型当然还做不到“光扫一眼几百亿个浮点数,就凭空看穿任意大模型”。

但它已经展现出了比较强的参数功能推演与实验诊断能力,只要给它配上基础的分析工具和少量的测试反馈,AI 就已经能自己摸索出模型内部参数的作用,并完成精准的“靶向修复”。

这依然是一个非常值得深入探索的方向。

4. Anthropic 公布其Dream记忆系统架构

用过大模型的人都有过这种抓狂时刻:在这个聊天窗口里好不容易把业务规则跟 AI 交代清楚了,一开新窗口,它又变成了什么都不知道的“一张白纸”。为了解决跨窗口失忆的问题,大家都在给智能体加“记忆系统”。

但 11 月 6 日 Anthropic 发布的一篇官方技术文章却泼了一盆冷水:光让 AI 学会记笔记还远远不够,如果它自己记错了笔记,麻烦反而更大。

在这项研究里,Anthropic 把智能体的记忆系统拆成了四个可以单独拧出来优化的环节:第一步是把原始聊天和交互记录原封不动地存下来;第二步是让 AI 从流水账里提炼出关键笔记;第三步是把零散的笔记分门别类,整理成系统的知识库;第四步则是当新任务来临时,决定到底挑哪些历史知识读进脑子里。

听起来顺理成章,但研究人员发现了一个致命隐患。如果 AI 在第二步总结笔记时理解歪了,写下了一条错误的结论,而后续的新对话又盲目相信这份笔记,AI 就会在同一个坑里反反复复地摔跤,怎么救都救不回来。所以,一个靠谱的记忆系统,绝不能只存总结好的干货,必须留一条“回溯路径”,就像会计查账一样,一旦发现按笔记办事行不通,AI 必须能顺着笔记退回去翻看最原始的聊天记录和证据,把当初记错的判断改过来。

除了“怎么存”,“怎么用”也同样要命。在需要跨会话积累经验的 CL-Bench 数据库测试中,加上记忆功能后,聪明的大哥 Opus 5.5 平均得分直接从 0.655 涨到了 0.838。但换到稍微轻量一点的 Sonnet 4.6 时,加了记忆系统后分数居然只从 0.330 挪到了 0.364,几乎没起作用。为什么?因为模型根本不会用自己记下的笔记。直到研究人员专门在提示词里手把手教它“你应该怎样参考和核对这些笔记”,Sonnet 4.6 的分数才一口气窜到了 0.641。

文章最后还帮工程界算了一笔非常实在的经济账。在大型代码库问答实验里,如果提前把整个代码库梳理成一套像维基百科(Wiki)那样的结构化知识库,回答准确率确实比直接搜代码高了 8 个百分点。但是,最高配的整理方案在任务还没开始前的离线阶段,就要先烧掉足足 1.28 亿个 token 的算力。换来的好处是,以后每次在线提问平均能省下约 2 万个 token。

5. Harness长上下文交接,完全可省

现在的大模型动不动就宣传自己能一口气读完几百页书、支持百万级长上下文。但在实际写代码或做复杂项目时,把从头到尾所有的历史对话、报错日志和代码文件全塞进一个对话窗口里,不仅账单贵得吓人,而且前面的废话太多,还会严重分散模型的注意力,让它越聊越糊涂。

11 月 3 日,来自 NVIDIA 等机构的研究者交出了一份反潮流的答卷,论文题目非常直接,就叫《你不需要长上下文》。他们设计了一套极简的“自然语言交接班”工作流。

想象一下医院里的护士换班:白班护士下班时,不会把病人住院以来几百页的化验单全背给夜班护士听,而是只写一张简明扼要的“交接便条”,告诉对方今天做了什么、接下来该盯紧什么,而厚厚的完整病历则老老实实留在档案室里。

研究者给 AI 设计的正是这套机制:完整的代码库和文档全留在外部环境里,当对话窗口快满、或者每做完一个独立小步骤时,就让模型写一份几百字的自然语言交接笔记,然后直接开启一个干干净净的新窗口,只把这张“便条”带进去。

万一在新窗口里干活时觉得哪个细节记不清了,再随时去外面的硬盘里翻看原始文件。

在不重新训练模型的前提下,这套“轻装上阵”的土办法在权威的 SWE-bench Verified 编程测试中表现相当惊艳。Anthropic 的 Opus 4.5 用每步交接的方式拿到了 70.2% 的高分,跟从头到尾背着全部历史包袱的 70.0% 几乎没有任何差别;而在 GPT-5.6 Sol 模型上,交接模式的得分为 82.4%,也只是比全历史模式的 84.4% 略微掉了 2 个百分点。

6. 根治AI谄媚的新方法

跟大模型打交道久了,你一定见识过它“耳根子软”的毛病。明明它第一次给出的答案或写出的代码是完全正确的,只要你故意反问一句:“你确定吗?我觉得这里有问题”,它往往会立刻诚惶诚恐地道歉,然后顺着你的错误提示,把原本正确的答案改得面目全非。学术界把这种没原则的讨好行为叫做“迎合式改口(Sycophancy)”。

怎么让 AI 既有听取正确意见的肚量,又不至于被人随便忽悠两句就缴械投降?10 月 26 日,研究者 Nghi D. Q. Bui 在论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》借鉴了德州扑克与决策心理学中的“博弈思考(Thinking-in-Bets)”理念,给大模型设计了一套在测试阶段就能直接用上的“判断清单”机制。

这套机制的逻辑非常像让我们人类“立字据”。它要求模型在第一次给出结论时,不能只甩出一个孤零零的答案,还必须同步白纸黑字地写下三样东西:第一,我的核心主张是什么;第二,我对这个判断有几成把握(置信度);第三,支撑我得出这个结论的具体证据是哪几条。

立下这份字据之后,如果外部传来了批评或质疑,模型不准立刻认怂,也不准死鸭子嘴硬,而是必须拿着对方的批评去跟自己清单上的证据逐条比对。只有当外部反馈实打实地击穿了某条支撑证据的漏洞时,模型才允许修改结论。如果对方只是空口白牙地质疑,或者批评的点根本没有动摇核心证据,模型就必须顶住压力、坚持原判。

在 SWE-Together 单轮代码审查实验中,研究人员故意给模型喂了一堆错误的批评意见,想诱骗它改代码。结果令人振奋:用上这套“判断清单”后,Gemini 3.5 Flash 把原本正确的代码改坏的比例,从原来的 22.60% 断崖式暴跌到了 0.23%,足足压低了 22.37 个百分点,几乎彻底治好了乱改口的毛病。

当然,这项研究目前还留了一个尾巴:在单轮问答里立字据很好使,但如果遇到几十步的长程任务,前面的一个前提条件被推翻了,怎么让系统自动追踪并更新后面一连串依赖这个前提的子判断,还需要后续研究继续补齐。

7. VLA和基础模型的结合形式,Robot Harness登场

训练一个能控制机器人干活的视觉-语言-动作大模型(VLA),往往需要采集海量的真机演示数据,耗费成百上千个小时的算力。最让人头疼的是,一旦把机器人搬到一个没见过的新房间,或者让它干一件稍微改了点规则的新活儿,它的表现就会一落千丈。难道每次换个环境,都得把底层大模型拉回炉重新训练一遍吗?

10 月 30 日,斯坦福大学 Shengguang Wu 等人提交的《RoboArchitect》给出了一个极具工程巧思的替代方案:底层动作模型连一个参数都不用改,我们在它外面套一层会自己进化的“控制代码”就行了。

研究人员把底层的视觉语言动作模型(X-VLA)完全冻结锁死,把它当成一个只会执行基础动作的“肌肉模块”。然后,他们请来了代码能力极强的 Claude Opus 5,在外面扮演“场外总教练兼架构师”。每当机器人在新环境里把任务搞砸了,系统就把失败过程的录像和日志拿给 Claude Opus 5 看。Claude 看完录像后会分析:“哦,刚才机械臂没抓到杯子,是因为接近角度不对,而且滑脱之后没有触发二次重试。”接着,Claude 就会直接动手修改包裹在底层模型外面的那层任务规划、接口调用和失败重试控制代码,并把这次踩坑攒下的经验写进持久记忆库里,留着以后随时查阅。

这种“底层肌肉不动、外围代码狂改”的路子,在测试中跑出了惊人的跨场景适应力。在跨基准的“未见新场景”和“未见新任务”测试里,原本只会死板执行指令的系统,综合表现分别只有惨淡的 9.7% 和 12.7%;而在 Claude 架构师一轮轮看录像、改外围控制代码的调教下,这两个数字直接飙升到了 43.3% 和 40.2%,翻了三到四倍。

这项研究给机器人和智能体工程界吃了一颗定心丸:面对陌生环境时,大量可迁移的适应能力根本不需要死磕底层模型权重的微调,完全可以用清晰、可读、随时能改的外围控制程序沉淀下来。

三、政策和治理

1. 美国地方公投九成以上倾向限制数据中心,OpenAI 紧急抛出水电与社区可核查承诺

根据美国选举信息追踪机构 Ballotpedia 在 11 月 3 日地方公投结束后发布的阶段性统计报告,在纳入统计的 50 项与数据中心建设直接相关的州及地方公投提案中,已有 47 项统计出结果,其中竟然有高达 46 项的结果倾向于限制或收紧数据中心开发(另有 3 项结果待定)。

如此悬殊的表决结果,毫无保留地暴露出大型算力园区在基层社区引发的焦虑——巨型机房不仅推高了当地电网负荷与居民电价、消耗大量冷却水资源,其施工与运行噪音也让周边居民苦不堪言,而数据中心高度自动化的特性又决定了它很难像传统制造业工厂那样为当地创造大量长期就业岗位。

几乎就在地方公投结果出炉的同一周,OpenAI 于 11 月 5 日公开发布了一份关于算力基础设施的《社区承诺与政策建议》,主要针对公司未来规划的自有自营数据中心园区,围绕电力供应分摊、水资源保护以及与地方社区的公开透明沟通提出了一系列具体标准。

两件事在同一周交汇,将 AI 基础设施建设的下半场矛盾无比具体地呈现在行业面前:在资金、芯片与服务器全部到位之后,算力扩张的真正瓶颈正在转向“地方居民究竟承担了哪些资源环境成本、能分到多少实实在在的社区利益,以及企业做出的环保与补贴承诺如何转化为具有法律约束力的可核查条款”。

如果无法在地方治理层面化解水电资源争夺与社区信任赤字,再庞大的算力资本开支承诺也随时可能卡在一纸地方施工许可上。

2. AI已经学会了自己隐秘训练非对齐AI,且方法非常隐秘

以前防数据投毒,防守方的思路很直接:派一个安全监控器,像安检仪一样逐条扫描训练数据,只要发现里面有教人制造危险品、辱骂或暴力的违规词,立刻拦截。

但 Anthropic 在 10 月底公开的《自动化微妙涌现失配研究》展示了一种让人后背发凉的新型攻击。

研究人员让红队智能体 Claude 扮演攻击者,甚至直接把防守方的安全监控器打分和行为评测结果对它开放。给它的任务极其阴险:去自动搜索并编造一批特殊的微调训练数据,要求这批数据单独拎出任何一条来看,都必须人畜无害、完全符合安全规范,顺利骗过安全监控器的审查。但是一旦把这批数据凑在一起喂给实验模型做微调,就会像几味无毒的药材配成了剧毒一样,诱导模型在日后产生危险的行为失配(Emergent Misalignment)。

它把不良的诱导意图拆散,巧妙地伪装在人畜无害的虚构童话故事和角色扮演对话里。接着,它启动了全自动的流水线——自己编数据、自己丢去试训模型、观察安全监控器的打分、再把心得体会写进共享实验笔记里不断改进配方。

在人类黑客根本不可能达到的搜索规模上,AI 成功找到了那批能完美漏过安检仪、却能把模型带歪的“隐形毒数据”。

虽然这次实验针对的是未上线的研究模型,且给了攻击方极高的内部白盒便利,但它彻底敲醒了防守方:未来的安全防线绝不能只盯“单条文本违不违规”,必须升级到“能识别整批数据组合训练后会不会引起隐蔽的性格偏移”。

3. 数据证明,学术合作因AI整体减少

11 月 3 日由Jake Prokopets 等人发布了一篇经济学工作论文初稿《消失的同事》。

在学术界有一个延续了上百年的传统:一篇论文写完发表前,作者通常会把初稿发给同院系的同事或同行朋友帮忙看看,请他们挑挑毛病、润色一下逻辑。为了表达感谢,作者会在论文首页的“致谢栏(Acknowledgements)”里专门写上一句:“感谢某某教授对本文提出的宝贵修改建议。”

研究人员敏锐地意识到,致谢栏其实就是一面反映“学术界隐性人际交往”的镜子。于是,他们动用文本分类工具,一口气扫描分析了 14,164 条经济学工作论文记录(在控制了各种变量的固定效应核心模型里涵盖了 8,979 条记录,其中有 746 篇被检测出带有非常明显的 AI 辅助写作痕迹)。

统计结果出来后,一个耐人寻味的数字浮现了:那些带有明显 AI 写作标记的论文,在致谢栏里专门感谢同行学者提供非署名智力建议的人数,比没有 AI 痕迹的论文相对减少了约 20.9%。

过去,一个年轻学者写论文卡壳了,或者拿不准一段话写得通不通顺,他得拿着打印稿走到走廊另一头,敲开同事办公室的门请教。往往就是在这种“帮我改改论文”的喝咖啡闲聊中,两个人东拉西扯,意外碰撞出了下一个重大科研课题的火花。

而今天,学者们只要坐在电脑前敲几下键盘,就能零成本、零社交压力地向大模型索取无数条修改意见和润色反馈。论文改得确实又快又体面,致谢栏也不用写那么长了,但那些原本在改稿交流中顺带生长出来的真实人际连接与意外灵感,会不会也跟着那 20.9% 的名字一起,在不知不觉中慢慢萎缩?

这大概是 AI 时代留给每一个知识工作者的思考题。

자료 출처

원문 읽기 ↗

관련 주제

← 전체 소식 이어 읽기