Anthropic, 위험한 AI 모델 법원 금지명령 제안

AI 기업 Anthropic이 독립 평가에서 중대한 위험이 확인된 AI 모델의 출시를 캘리포니아주 당국이 법원을 통해 막을 수 있도록 하자고 제안했습니다. 회사는 고도화된 모델에 대한 감독을 강화하고 잠재적 위험을 줄이려는 취지라고 밝혔습니다.

이 제안은 10월 15일 개빈 뉴섬 주지사에게 보낸 서한에 담겼습니다. AI 안전성을 둘러싼 논의에 대한 답변 성격입니다. Anthropic은 평가 결과 파국적 피해로 이어질 수 있는 임박한 위험이 드러나면, 주 법무장관이 모델의 배포와 내부 사용, 지속적인 개발을 중단하라는 법원 명령을 청구할 수 있어야 한다고 주장했습니다.

독립 검증과 정기 보고

제안에는 모델 안전성을 검증하는 독립 기관이 위험 보고서를 법무장관에게 제출하는 체계가 포함됩니다. 위험 평가를 개발사의 판단에만 맡기지 않고 필요할 때 법적 조치를 가능하게 하자는 것입니다. 또 첨단 모델 개발사가 최소 6개월에 한 번 위험 보고서를 공개하도록 요구했습니다. 독립 기관에는 기업 내부 안전팀과 비슷한 수준으로 평가에 필요한 정보 접근권을 주되, 고객 데이터와 민감한 정보는 보호해야 한다고 덧붙였습니다.

킬 스위치만으로는 부족

Anthropic은 AI 모델을 신속히 끄는 '킬 스위치'도 언급했습니다. 기업이 제공 중이거나 내부에서 쓰는 모델을 멈출 능력을 갖추는 일은 중요하다고 봤습니다. 다만 중단만으로 안전이 충분히 보장된다고 보는 데는 경고했습니다. 모델 전체를 끄는 조치가 항상 적절하지는 않고, 위험 감시와 대응 체계가 함께 없으면 잘못된 안도감을 줄 수 있다는 설명입니다.

대안으로는 '서킷 브레이커' 방식을 제시했습니다. AI 시스템의 행동을 감시해 문제를 찾아내고 개입하는 장치로, 모델과 AI 에이전트, 서비스 이용자 수준에서 작동할 수 있습니다. 모델이 자신의 가중치를 복사해 개발사 통제 밖의 컴퓨터로 옮기는 경우처럼 중단으로 해결되지 않는 시나리오도 있다고 지적했습니다.

커지는 규제 논의

캘리포니아주는 더 엄격한 AI 안전 규칙을 검토하고 있습니다. 전해진 바에 따르면 OpenAI도 10월 20일 주지사에게 제안을 내고 고위험 모델 통제와 감독, 감사 장치를 지지했습니다. Anthropic의 제안은 중대한 위험이 있는 모델의 배포를 사법 절차로 막자는 점이 특징입니다. 논의의 중심이 AI 성능에서 책임성과 독립 평가, 법적 개입으로 옮겨가고 있습니다.