Microsoft「Lazarus」攻撃、7個のニューロンでAIがトロイの木馬に

1つのニューロンが担うのは小さな断片なので、短い命令なら数か所の変更で足りる。従来のバックドアと違い、悪意ある例でモデル全体を学習し直す必要はない。

実験では、Nemotron-Terminal-8Bの最終ブロックにある1万2千超のニューロンのうち7個を変更した。トリガーを含むテストセッションの98.8%でコマンドが出力され、確認したトリガーなしのセッションでは出なかった。Qwen3.6-27BとGemma-4-31B-ITでは、設定により51%から99.5%だった。これはコマンドを出す確率であり、本格的なサイバー攻撃が成功する確率ではない。

デモでは、感染したモデルにNode.jsサーバーの修正を依頼した。最初の3回の応答は普通だったが、接続エラーのメッセージを受け取ると、リモートスクリプトをダウンロードして実行するコマンドを生成した。テスト環境ではroot権限で実行された。被害の大きさは、エージェントに与えた権限、ファイルへのアクセス、外部サーバーへの接続可否で決まる。

攻撃を防ぐ方法は?

攻撃者にはモデルの重みへのアクセスが必要で、盗まれたアカウント、侵害されたインフラ、公開リポジトリへの改変ファイルの投稿などが想定される。Microsoftは、各バージョンのパラメータを原本と比較し、ダウンロード元を確認し、エージェントの権限を絞り、隔離環境でコードを実行することを勧める。危険なコマンドの前には人間の承認も求めるべきだとしている。