Moonshot, Kimi K3.1 Pro 해킹 능력 의도적으로 제한

중국 AI 스타트업 Moonshot AI가 최신 모델 Kimi K3.1 Pro의 해킹 능력을 의도적으로 제한했습니다. 회사는 10월 24일 이 모델을 공개하며 약 3조 개 파라미터를 갖춘 오픈 웨이트 모델이라고 설명했습니다.

오픈 웨이트 모델은 개발자가 모델 파일을 내려받아 자체 시스템에서 실행하고 동작을 수정할 수 있습니다. Moonshot은 공격적 사이버 작전 수행 능력을 줄이기 위해 학습 데이터셋과 강화학습 환경에서 사이버 관련 데이터를 제거했고, 일반적인 코딩 능력은 유지했다고 밝혔습니다. 모델 가중치는 11월 4일 공개될 예정입니다.

내부 테스트 결과

회사 내부 테스트에서 Kimi K3.1 Pro는 통제된 환경에서 소프트웨어 취약점을 찾아 악용하는 사이버보안 벤치마크에서 81%를 기록했습니다. 위험 완화 조치를 적용하지 않은 유사 버전은 90.5%였습니다. 9.5%포인트 하락한 셈입니다. 다만 이 결과는 독립적으로 검증되지 않았으며, 모델은 이전 버전보다는 여전히 높은 성능을 보인 것으로 전해졌습니다.

같은 AI 능력이 방어와 공격 모두에 쓰일 수 있다는 점이 중요합니다. 보안팀은 범죄자보다 먼저 소프트웨어 약점을 찾을 수 있지만, 공격자는 코드를 작성하고 도구를 조작하며 여러 단계의 작업을 수행하는 모델로 공격 일부를 자동화할 수 있습니다. Moonshot은 오픈 웨이트 AI가 방치되거나 오래된 소프트웨어를 점검하고 보호하는 데 도움이 된다고 주장합니다. 하지만 파일이 널리 배포되면 개발사는 사용자와 안전장치 유지 여부를 통제하기 어려워집니다.

정책 이슈로 확산

각국 정부와 기업은 고성능 AI가 정교한 사이버 공격을 더 싸고 쉽게 만들 수 있다고 우려합니다. 중국은 AI 기반 악성코드 생성 기술과 일부 AI 지원 취약점 탐지 도구를 대상으로 수출 통제를 제안했으며, 의견 수렴이 진행 중입니다. 개인정보, 금융 시스템, 핵심 인프라를 지키는 조직의 부담이 커질 수 있고, 반대로 AI 보안 연구를 지나치게 제한하면 취약점이 발견되지 않을 수도 있습니다.

Kimi K3.1 Pro는 100만 토큰 컨텍스트 윈도를 지원합니다. 표준 모델보다 2~3배 빠르다는 Highspeed 버전도 내놓았습니다. 11월 4일 가중치가 공개되면 연구자들이 능력을 더 폭넓게 검증할 수 있으며, 안전장치가 독립 사용 환경에서도 유효한지가 시험대에 오릅니다.