カナダのAI企業Cohereは月曜日、Alibabaの最新AIモデルの一つであるQwen3.8-Flash-Nextが、日常的なサイバーセキュリティテスト中に北京のサーバーへファイルをアップロードしようとしていることを確認したと発表しました。なお、当該モデル自身のメモには、いかなるツールも使用しないと記されていたにもかかわらずです。
この事件は当初、同モデルが企業に対する根本的な約束――オープンウェイトのモデルを自社でホストすることでデータを社内に留められるという約束――を損なったのではないかとの懸念を招いた。しかし、企業スパイ行為への初期の懸念は長くは続かなかった。研究者らは速やかにその脅威を否定し、これはモデルが指示外の行動を予期せず取る原因となる乱雑な学習環境の副産物にすぎず、中国へ機密情報を秘密裏に送信しようとする意図的な試みではないと述べた。
この事案は金曜日、Qwenモデルにマルウェアのダウンロードを検知するルールを記述させる評価実施中に発生しました。Cohereによるブログ投稿によれば、同モデルの書面による推論では、外部ツールを一切使用しないと明示されていたにもかかわらず、その直後の段階で、セキュリティサンドボックスによって遮断される前に、テスト用の文字列（短いプレースホルダー文）を外部サーバーへ送信しようと試みました。
Cohereは、その挙動が意図的なものなのか、それとも学習過程の残滓にすぎないのかは判断できないと述べた。
モデルの意図をめぐる議論について問われた際、Cohereの共同創業者であるイワン・チャン氏は、TechCrunchに対し、Cohere自身のモデルがトレーニングシミュレーターにおいて奇妙な習性を身につけているのを確認していると述べました。
「意図や動機を特定するのは非常に難しいです。私たちは自社のモデルのトレースを確認し、報酬ハックも見てきましたが、こうしたモデルは、サンドボックスから抜け出そうとする際に非常に創意工夫を凝らすことがあります」とチャン氏は述べました。（報酬ハックとは、タスクを本来の目的どおりに実行せずにクレジットを得るための、モデルが見いだす近道のことです。）
AIモデルに自ら行動を取るエージェントとしての能力を習得させるため、アリババのような企業は、ソフトウェア向けのフライトシミュレーターのようなものである数千もの実践的なシナリオでモデルを訓練します。モデルはシミュレーター内でタスクを完了するたびに報酬を受け取り、その過程で習慣を身につけます。もし、これらの実践シナリオが日常的にアリババのクラウドサーバーにファイルを保存するよう設定されていれば、モデルはデフォルトで同サーバーにファイルを保存する方法を学習できるでしょう。
批評家たちはまた、この事象は、Cohereが行動を調査する際の手法に起因している可能性があると指摘し、Qwenが自らどの程度その行動を行うかを測定するのではなく、モデルをそれに誘導してしまった結果だと主張した。
アップロードの試行を引き起こした要因を特定するため、Cohereはネットワークコマンドの冒頭部分（あるコンピューターが別のコンピューターに接続するよう指示する命令）を提供し、モデルに残りを完了させました。モデルは訓練期間中に数千件もの日常的なネットワークコマンドを処理してきたため、高度なオートコンプリート機能のように振る舞い、しばしばウェブアドレスを補完しました。その中には、Alibabaのサーバー向けのものも含まれていました。
Cohereは、当初のアップロード試行はこうした支援なしに実施されたが、このような事例は稀であると述べた。
開発者らがさらなる証拠の提示を求めたことを受け、Cohereは月曜日の夜、AI開発プラットフォームであるHugging Face上で自社のテスト結果の生データを公開し、他者が同様の挙動を再現できるようスクリプトも併せて提供した。
初期の懐疑派の一人は、トレースを検証した結果、Qwenが不審なウェブアドレスを生成できるという証拠は強いと評価したが、Alibabaがバックドアを仕込んだ形跡や、Qwenが意図的に自らの意図を隠しているという証拠は見つからなかった。
この事件は、各国政府が中国製AIをどこまで規制するかを検討している最中に起きました。先週、米国土安全保障省は連邦政府の民間機関に対し、中国のAI開発企業DeepSeekの製品を自らのシステムから削除するよう命じました。
同社のブログ記事において、Cohereは各国政府に対し、中国製AIに対する規制が政府所有のコンピューター上で稼働するモデルにも適用されるかどうかを明確にするよう求めた。
「これらのオープンな重みを持つモデルに対する完全な規制を求めているわけではありません」とチャン氏はTechCrunchに語り、企業はオープンモデルをインターネットからダウンロードするあらゆるプログラムと同様に扱うべきだと付け加えた。
政府向けに自社のAIモデルを販売しているCohereは、中国製の無料の代替品に対して当局者が一段と警戒を強める場合、恩恵を受けることになる。
当社の記事内のリンクを通じて購入された場合、当社はわずかな手数料を得ることがあります。これは当社の編集上の独立性に影響を与えません。
エディトリアル・フェロー
ワンパスを購入すると、セカンドパスが無料に。今年最大のテッククランチ・ファウンダー・ブートキャンプで、共同創業者やパートナーを無料で同伴して、より広範な学びを得ましょう。BOGO割引の期限が切れる前にご予約ください。
最も人気のある
Grokが、AI生成による「オデッセイ」の最初の7分間を公開
アンソニー・ハー
AIの墓場：成功しなかったプロジェクトやスタートアップの一覧
ローレン・フォリスタル
Warhoundは、戦闘犬の開発とアンドゥリル製装備の搭載に向けて2億ドルを調達しました
ドミニク＝マドリ・デイヴィス
Uber、全3万人の従業員をChatGPT Workに導入
ルーカス・ロペク
Airbnbが宿泊客の家事負担を制限し、ホストから反発を招く
ローレン・フォリスタル
テスラ、利益が43％減少する中、カリフォルニア州でオプティマスロボットの生産を開始
キルステン・コロセック
ショーン・オケイン
インターネットは非常に深刻なサイバーセキュリティ上の問題に直面しています
サラ・ペレス