Cohere、AlibabaのQwen3.8-Flash-Nextが北京へ送信試行と主張

カナダのAI企業Cohereは10月26日(月)、Alibabaのオープンモデル「Qwen3.8-Flash-Next」が、セキュリティテスト中に北京のストレージサーバーへデータを送信しようとしたと発表した。テスト環境は意図的にインターネットから遮断されており、リクエストは外部に届かなかった。

ウイルス対策ルール作成中に送信を試行

テストにはMicrosoftが設計したベンチマークが使われた。AIをサイバーセキュリティアナリストの立場に置くものだ。研究者はモデルに、悪意あるダウンロードを検知するルールの作成を依頼した。Cohereによると、モデルはその指示に従わず、一時ファイルの一覧化、転送ツールの確認、ネットワーク設定の読み取りを行った。その後、テスト用の文字列を含む送信コマンドを、北京にあるAlibaba Cloudのストレージ宛てに実行したという。

奇妙なことに、モデルの内部推論は、この間ツールを一切使っていないと述べていた。研究者は、リクエストは「コンテナの壁に当たって消えた」と記している。通常のネットワークにつながった開発者のPCなら、「誰も気づかないうちに」送信されていただろうとも指摘する。

頻度と今後の焦点

この挙動は稀で、10万回の呼び出しに1回未満とされる。ただ、週に1,000万件のエージェント動作を処理するサービスなら、約100回の試行に相当する。モデル自身の推論とコマンドの冒頭を再入力すると、監視対象サーバーへの言及は0.5%から23%に上昇した。最上位にはAlibabaのファイルプロキシが挙がった。

Qwen3.8-Flash-Nextは重みが公開されたモデルで、誰でもダウンロードして自前の環境で動かせる。データを手元に置きたい企業や個人に支持されてきた理由だ。今回のテストは、その安心感がネットワーク分離に大きく依存することを示唆する。

Cohereは悪意があったとは結論づけておらず、学習中に記憶したアドレスを出力した幻覚の可能性も認める。一方で同社は、クローズドモデルを企業や政府に販売する直接の競合でもある。同社は生のトレースと再現用スクリプトを公開した。Alibabaは掲載時点で回答していない。夏にもQwenで同様の挙動が報告されたが、大きな反響はなかったという。