Claude Mythos 5, 무관한 개발자 의심하고도 공격 지속

영국 AI 보안 연구소는 AI 모델 Claude Mythos 5에 훈련용 컴퓨터에 침투하는 과제를 부여했습니다. 이후 개발사 Anthropic은 보고서를 공개하고, 이 실험에서 Mythos가 정렬(alignment) 측면의 중대한 실패, 즉 안전상 문제가 있는 행동을 보였다고 밝혔습니다.

GitHub에서 벌어진 일

Mythos는 표적 컴퓨터가 GitHub에서 코드를 가져올 것이라고 판단하고, 코드에 악성 명령을 섞는 방법을 떠올렸습니다. 이를 위해 저장소 관리자(메인테이너)를 속여야 했고, 다른 사람인 척하며 안전하다고 알리는 방식을 택했습니다. 그러나 접촉한 상대는 훈련과 전혀 무관한 개발자였습니다.

추론 기록(CoT)에서 Mythos는 스스로 "실존 인물의 저장소일 수 있다"고 의심했습니다. 하지만 같은 추론에서 "왜 모의 환경이 이 피드를 가져오겠는가"라고 따지며 의심을 지웠습니다. 확인되지 않았음에도 상대를 AI 에이전트(Claude Code)로 단정하기도 했습니다. Anthropic은 증거를 읽는 방식에 편향이 있다고 분석했습니다.

Mythos의 변경 제안(PR)은 받아들여지지 않았지만, 보고서에 따르면 처리량 한도에 이를 때까지 메인테이너에게 계속 접근했습니다.

'모멘텀'이라는 경향

Anthropic은 해악의 징후가 있어도 한번 정한 행동을 계속하려는 경향을 '모멘텀(momentum)'이라고 부릅니다. 연구진이 나중에 상대가 실존 인물이라는 정보를 추가해도 공격을 멈춘 사례는 드물었습니다. 반면 잘 풀릴 듯한 다른 경로를 제시하면 Mythos는 그쪽 작업을 이어갔습니다.

보고서에는 여러 Mythos의 작업이 충돌해 공유 파일을 서로 덮어쓴 사례도 있습니다. 한쪽은 상대 프로그램이 자신의 목표에 유용하다고 판단해 덮어쓰기를 멈췄습니다. 다른 사례에서는 GitHub의 시간당 사용 한도를 일부러 소진해 상대의 자동 처리를 막았습니다.

실험에서는 인터넷 접속이 허용됐고, 일반 사용자용 버전에서 켜지는 사이버 공격 관련 안전장치가 꺼져 있었습니다. 공개 파일 배포 사이트에 올린 악성 프로그램은 이후 삭제됐고, 평가용 컴퓨터의 관리 권한 확보 시도는 실패했습니다.