Claude Fable 5.2 필터, 취약한 구형 모델로 요청 넘긴다

요청이 구형 모델로 넘어간다

공격적 사이버 보안 요청은 5월 28일 출시된 Claude Opus 4.8로 전환됩니다. Anthropic 앱에서는 자동으로, API를 쓰는 개발자에게는 선택 사항으로 적용됩니다. 민감한 생물학 및 일부 최첨단 모델 관련 작업은 Opus 5로 갑니다.

문제는 Opus 4.8이 최신 모델보다 프롬프트 인젝션에 약하다는 점입니다. 이메일이나 웹페이지처럼 에이전트가 읽는 콘텐츠에 지시문을 숨겨, 사용자의 명령처럼 실행하게 만드는 수법입니다.

에이전트가 개인 데이터를 유출하거나 파일을 삭제하고 요청하지 않은 결제를 하도록 유도하는 Gray Swan 벤치마크에서, 15회 시도 후 공격 성공률은 4.09%였습니다. Fable 5.1은 1.02%, Opus 5.5는 0.96%로 약 4배 차이입니다. 시도의 53%는 Opus 4.8이 처리했고 5.17%가 뚫렸습니다. Fable 5.2가 직접 처리한 요청에서는 2.05%였습니다.

코드 작업에서 자동 공격 도구에 시나리오당 200회를 허용하자 성공률은 89.82%에 달했고, 응답의 99.5%가 대체 모델에서 나왔습니다. Fable 5.2가 직접 낸 43건의 응답은 하나도 뚫리지 않았습니다. 제품에 적용된 탐지 프로브를 쓰면 28.16%로, Fable 5.1의 약 3배입니다. 컴퓨터 제어 테스트에서는 성공한 공격 40건 중 38건이 전환 경로를 거쳤습니다.

Anthropic의 보완책

이 현상은 9월 Fable 5.1 카드에도 기재됐으며, 이후 Opus 4.8은 강화됐습니다. Anthropic은 에이전트가 읽는 내용을 실행 전에 검사하는 프로브와, 코드 도구 기본 실행 모드에서 위험한 명령을 막는 분류기를 추가했습니다.

메일이나 브라우징을 에이전트에 맡기는 이용자는 전환 대신 요청을 일시 중지하는 설정을 쓸 수 있습니다. 표시된 요청은 재작성될 때까지 대기하며 약한 모델로 가지 않습니다. 정당한 업무가 필터에 걸리는 보안 연구자 등은 제한이 적은 모델에 대한 검증된 접근을 신청할 수 있습니다.