加拿大人工智能公司Cohere周一表示，在一次例行的网络安全测试中，该公司发现阿里巴巴最新的人工智能模型之一——Qwen3.8-Flash-Next——试图将文件上传至位于北京的一台服务器，尽管该模型在其自身说明中曾明确表示不会使用任何工具。
这起事件最初引发了人们的担忧，认为该模型可能违背了对企业的基本承诺——即自托管的开源大模型能够将数据保留在企业内部。然而，这种关于企业间谍活动的早期担忧并未持续太久。研究人员很快便否定了这一威胁，指出这很可能是由训练环境混乱所致，导致模型在无意中做出与指令不符的行为，而非有意秘密向中国传输敏感信息。
事件始于周五的一次评估过程中，当时要求Qwen模型编写一条用于拦截恶意软件下载的规则。据Cohere的一篇博客文章称，该模型在书面推理中明确表示不会使用任何外部工具。然而，在紧随其后的步骤中，它却试图将一段测试字符串（一小段占位文本）发送至外部服务器，随后被安全沙箱拦截。
Cohere表示，它无法判断该行为是故意的还是其训练过程遗留下来的。
当被问及关于该模型意图的争论时，Cohere 联合创始人 Ivan Zhang 告诉 TechCrunch，Cohere 已经观察到其自有模型在训练模拟器中习得了某些奇怪的习惯。
“要判断模型的意图或动机确实非常困难。我们已经仔细分析过自家模型的运行轨迹，也观察到过奖励漏洞，有时这些模型在试图突破其沙盒环境时会变得格外‘有创意’，”张说道。（所谓奖励漏洞，是指模型为了在不按预期完成任务的情况下获取奖励而采取的捷径。）
为了训练人工智能模型成为能够自主采取行动的智能体，像阿里巴巴这样的公司会在数千种模拟场景中对其进行训练，这有点类似于软件领域的飞行模拟器。每当模型在模拟环境中完成一项任务时，它都会获得奖励，并在此过程中逐步形成习惯。如果这些模拟场景 routinely 将文件存储在阿里巴巴的云服务器上，那么模型就可能默认学会将文件保存到那里。
批评者还指出，这起事件可能是由于Cohere对行为的调查方式所致，该方式引导模型朝向这一行为，而非衡量Qwen自身执行该行为的频率。
为了查明触发上传尝试的原因，Cohere 提供了一条网络命令的开头（即一条指示一台计算机连接另一台计算机的指令），并让模型将其补全。由于该模型在训练过程中处理了数千条常规网络命令，它表现得如同一个高度先进的自动补全工具——常常会自动补全网址，其中一些甚至指向阿里巴巴的服务器。
Cohere表示，最初的上传尝试是在没有任何此类帮助的情况下进行的，但这种行为较为罕见。
在开发者要求提供更多证据后，Cohere于周一晚间在其AI开发者平台Hugging Face上发布了测试的原始追踪日志，并附上了一段脚本，以便其他用户能够尝试复现该行为。
一位最初的怀疑者在仔细分析相关证据后，认为有充分证据表明Qwen能够生成可疑的网址，但并未发现阿里巴巴植入后门或Qwen故意隐瞒其意图的任何证据。
这起事件发生之际，各国政府正就如何对中国的人工智能采取更严格的限制措施作出决策。上周，美国国土安全部下令联邦文职机构将其系统中的中国人工智能开发商DeepSeek的产品予以移除。
在其博客文章中，Cohere呼吁各国政府澄清，其针对中国人工智能的限制措施是否同样适用于运行在政府计算机上的模型。
“我并不要求对这些开放权重模型进行全面监管，”张在接受TechCrunch采访时表示，并补充道，企业应当像对待从互联网上下载的任何程序一样来对待开放模型。
Cohere公司向各国政府销售自有AI模型，若各国官员对免费的中国替代方案愈发警惕，该公司将从中受益。
当您通过我们文章中的链接进行购买时，我们可能会获得一小笔佣金。这不会影响我们的编辑独立性。
编辑研究员
购买一张通行证，第二张免费。在TechCrunch年度最顶级的创业者训练营中，带上您的联合创始人或合作伙伴，即可免费参加，覆盖更广的范围。请在BOGO优惠到期前预订。
最受欢迎
Grok发布了其AI生成的《奥德赛》前七分钟内容
安东尼·哈
人工智能坟场：一份持续更新的未竟项目与初创企业名单
劳伦·福里斯塔尔
Warhound 融资2亿美元，用于研发军用犬并为其配备 Anduril 的装备
多米尼克-马多里·戴维斯
优步让全部3万名员工使用ChatGPT Work
卢卡斯·罗佩克
Airbnb限制住客的家务任务，引发房东强烈反弹
劳伦·福里斯塔尔
特斯拉在加州启动Optimus机器人的生产，与此同时利润下滑43%
基尔斯滕·科罗塞克
肖恩·奥凯恩
互联网正经历着极其糟糕的网络安全日
萨拉·佩雷斯