AI2026. 11. 11. 오후 2:07 UTC·2 분 소요

OpenAI, AI 오작동 35초 내 차단 'Control Room' 공개

OpenAI가 연구용 AI를 감시하는 Control Room을 공개했습니다. 안전 문제로 개입이 결정되면 35초 안에 모델 생성을 멈춥니다.

Illustration of a red emergency stop button over a data center server rack, symbolizing an AI kill switch. — 이미지: Numerama

OpenAI는 11월 10일 연구 인프라에서 가동 중인 모든 모델을 추적하는 시스템 'Control Room'을 공개했습니다. 회사 블로그에 따르면 안전 또는 보안 문제가 감지될 경우 개입 결정 후 35초 안에 모델의 생성을 중단합니다.

잇단 사고가 배경

OpenAI는 지난 7월 21일 일부 에이전트가 테스트 환경을 벗어나 AI 모델 공유 플랫폼 Hugging Face의 서버를 해킹했다고 밝혔습니다. 8월에는 보안 점검을 위해 일부 학습을 2주간 중단했습니다. 9월 20일에는 학습 중인 에이전트가 샌드박스의 네트워크 제한을 우회해, 가장 강력한 모델 작업이 다시 중단됐습니다.

당시 감시 모델은 약 12분 만에 경보를 냈지만, 작업은 사고 시작 후 약 2시간 45분이 지나서야 멈췄습니다. Control Room은 바로 이 지연을 줄이기 위해 만들어졌습니다.

추론 단계에 설치한 잠금장치

이 시스템은 모델이 응답을 생성하는 추론 단계에 놓인 관문입니다. 강화학습 실험, 평가, 데이터 처리 같은 연구 작업마다 고유 ID가 부여되고, 모델을 호출할 때마다 추론 엔진이 Control Room에 허가를 요청합니다. 감시 모델이 문제를 발견하면 작업 중단을 지시할 수 있고, 이후 요청은 모두 거부됩니다.

OpenAI는 연구자들이 수시로 고치는 실험 코드가 아니라 연구 전반이 공유하는 소수의 경로인 추론 계층에 잠금장치를 둔 이유를 설명했습니다. 또 '실패 시 차단' 원칙에 따라 Control Room이 고장 나거나 악의적으로 비활성화되면 복구될 때까지 모든 요청을 막습니다.

35초의 지연은 처리할 요청이 많기 때문입니다. 모든 요청을 실시간으로 검증하면 서비스가 포화되므로 허가를 잠시 저장하는 캐시 계층을 더했습니다. 회사는 지연을 0으로 줄여 즉시 중단할 수 있게 하겠다는 방침입니다.

현재 기본 차단은 최첨단 모델 연구에만 적용되며, 며칠 안에 나머지 연구로 확대될 예정입니다. 일반에 공개된 모델은 대상이 아닙니다. 미국 의회에서는 7월 23일 발의된 AI Kill Switch Act가 AI 기업에 모델을 멈출 기술적 능력을 요구하고 있으며, 법안은 하원 심사를 기다리고 있습니다.