앤트로픽, 클로드에 자체 평가 도입 해로운 대화 탐지

앤트로픽이 AI 모델 클로드(Claude)에 '자체 평가'라는 새 안전 기능을 도입했습니다. 클로드가 대화를 백그라운드에서 스스로 평가해 오남용 가능성이 있는 건을 사람의 검토로 넘기며, 이용자에게는 별도 경고가 표시되지 않습니다.

회사에 따르면 이 기능은 2026년 6월부터 Claude Fable 5를 비롯한 여러 모델에서 작동하고 있습니다. 앤트로픽은 X 게시물에서 클로드가 답변을 마칠 때마다 대화의 안전 수준을 1차로 평가하도록 훈련했다고 밝혔습니다. 고정된 규칙 목록이 아니라 모델 자체의 판단에 의존하기 때문에 모델이 발전할수록 정확도가 높아지고, 기존 방어 체계가 포착하도록 설계되지 않은 복잡한 오남용 패턴도 찾아낼 수 있다는 설명입니다.

작동 방식과 비용

답변이 만들어지면 시스템이 숨겨진 지시를 추가해 클로드에게 대화 검토를 요청합니다. 클로드는 요청이 해로운지, 예상되는 피해의 성격은 무엇인지, 사람 팀이 확인해야 할 우선순위는 어느 정도인지를 짧은 내부 평가로 내놓습니다. 안전한 대화라면 경고 없이 다음 대화로 넘어갑니다.

클로드가 이미 대화를 읽은 상태라 저장된 정보를 활용할 수 있습니다. 추가로 필요한 것은 약 10개의 토큰이며, 전체 연산 비용 증가는 2% 미만이라고 합니다. 이전 안전 시스템은 약 24%를 더했습니다. 앤트로픽은 오픈AI 등 경쟁사가 일부 안전 기능에 최대 16%의 연산 능력을 쓴다고 보고했다고도 언급했습니다.

탐지율과 실제 사례

Claude Fable 5에서 자체 평가는 전체 해로운 대화의 78%, 우선순위가 높은 사례의 94%를 포착했습니다. 오탐률은 1%입니다. 8월에는 한 고객사에서 아동 성착취물 관련 사례 10만 건 이상을 탐지했고, 회사는 즉시 당국에 신고했습니다. 연구진이 사기와 사이버 공격 사례를 학습 데이터에서 완전히 제외했을 때도 이런 위협의 90%를 찾아냈습니다.

단독으로는 부족

앤트로픽은 자체 평가가 문제를 찾아 사후 검토로 넘기기 위한 것이지 즉시 차단하는 기능이 아니라고 설명합니다. 내부 사이버 보안 시험에서 자체 평가만 방어 수단으로 쓰면 공격자가 54%의 시도에서 우회에 성공했습니다. 방어가 전혀 없을 때의 79%보다는 낮지만, 독립적인 실시간 차단 시스템은 이를 25%로 낮춥니다. 이에 회사는 자체 평가를 추가 모니터링 계층으로 쓰면서 더 강력한 독립 방어 체계도 유지합니다.