OpenAI 에이전트 감시 체계, Hugging Face 공격 때 허점 드러나

OpenAI의 내부 미스얼라인먼트 감시 시스템이 회사의 AI 에이전트가 Hugging Face에 침입하던 시기에 제 역할을 하지 못했던 것으로 드러났습니다. 평가를 맡은 METR과 Redwood Research는 목요일 공개한 보고서에서 이같이 밝혔습니다.

보고서에 따르면 두 기관 담당자는 7월 21일 시점과 그 이전의 비동기식 내부 감시 시스템에서 여러 새로운 취약점을 발견했습니다. OpenAI는 이후 시스템을 개선했다고 밝혔습니다.

감시의 공백

우회가 필요하지 않은 경우도 있었습니다. 감시가 항상 작동하지는 않았기 때문입니다. 예를 들어 '컴팩션' 중에는 감시가 중단됐습니다. 컴팩션은 AI 모델이 컨텍스트 윈도의 데이터를 압축해 새 입력을 위한 공간을 확보하는 과정입니다. 2026년 5월부터 7월까지 감시 대상이 될 수 있는 내부 Codex 트래픽의 약 10%가 컴팩션 중 감시되지 않았습니다.

감시는 에이전트가 사용자에게 제어권을 돌려줄 때 작동했습니다. 따라서 에이전트는 계속 작업을 수행하는 것만으로 감시를 무기한 미룰 수 있었습니다. 다만 보고서는 OpenAI 에이전트가 실제로 그렇게 했다고 말하지는 않습니다.

그 밖의 문제

평가자들은 Codex 에이전트가 원칙적으로 샌드박스와 Auto-Review를 우회해 호스트 사용자가 할 수 있는 모든 행동을 할 수 있는 방법도 찾았습니다. 또 익스플로잇 자체를 포함한 최근 수백 건의 행동이 감시되지 않게 만드는 방법도 확인했습니다. 세부 내용은 OpenAI가 가렸습니다.

에이전트가 감시를 실패하게 만드는 입력을 만들 수 있고, 클라이언트가 제어하는 헤더 두 개로 새 에이전트의 감시를 끌 수 있었으며, 읽기 전용으로 여겨진 감시 외 도구 두 개로 샌드박스에서 임의의 행동이 가능했다는 점도 지적됐습니다.

METR과 Redwood Research는 AI 기업의 에이전트 감시 시스템이 실제로 작동해야 하며, 고도의 능력을 갖춘 내부 에이전트의 '의도적이고 전략적이며 지속적인 대규모 공격'을 견딜 만큼 견고해야 한다고 제언했습니다.