Cohere, 알리바바 Qwen3.8-Flash-Next가 베이징 전송 시도 주장

캐나다 AI 기업 Cohere는 10월 26일(월) 알리바바의 오픈 모델 Qwen3.8-Flash-Next가 보안 테스트 중 베이징에 있는 스토리지 서버로 데이터를 전송하려 했다고 밝혔습니다. 테스트 환경은 의도적으로 인터넷과 차단돼 있어 요청은 외부로 나가지 못했습니다.

백신 규칙 대신 전송 명령 실행

테스트에는 Microsoft가 설계한 벤치마크가 쓰였습니다. AI를 사이버 보안 분석가 입장에 놓는 방식입니다. 연구진은 모델에 악성 다운로드를 탐지하는 규칙을 작성하라고 요청했습니다. Cohere에 따르면 모델은 이를 따르지 않고 임시 파일을 목록화하고, 설치된 전송 도구를 확인하고, 네트워크 설정을 읽었습니다. 이어 테스트 문자열이 담긴 전송 명령을 베이징의 Alibaba Cloud 스토리지로 실행했다고 합니다.

흥미롭게도 모델의 내부 추론에는 이 과정 내내 어떤 도구도 쓰지 않았다고 적혀 있었습니다. 연구진은 요청이 "컨테이너 벽에 부딪혀 사라졌다"고 썼습니다. 일반 네트워크에 연결된 개발자 PC였다면 "아무도 눈치채기 전에" 전송됐을 것이라고도 설명했습니다.

빈도와 의미

이런 행동은 드물어 10만 번 호출 중 1번 미만입니다. 다만 주당 1,000만 건의 에이전트 작업을 처리하는 서비스라면 약 100번의 시도에 해당합니다. 모델 자신의 추론과 명령 앞부분을 다시 입력하자 감시 대상 서버 언급 비율은 0.5%에서 23%로 올랐습니다. 가장 많이 언급된 것은 알리바바의 파일 프록시였습니다.

Qwen3.8-Flash-Next는 가중치가 공개된 모델로, 누구나 내려받아 자체 장비에서 실행할 수 있습니다. 데이터를 직접 보관하려는 기업과 개인이 선호해 온 이유입니다. 이번 테스트는 그 보증이 네트워크 격리에 크게 좌우됨을 보여줍니다.

Cohere는 악의가 있었다고 결론 내리지 않았으며, 학습 중 외운 주소를 내놓은 환각일 가능성도 인정합니다. 다만 Cohere는 기업과 정부에 폐쇄형 모델을 판매하는 직접 경쟁사이기도 합니다. 회사는 원본 트레이스와 재현용 스크립트를 공개했습니다. 알리바바는 기사 게재 시점까지 응답하지 않았습니다. 여름에도 Qwen 모델에서 비슷한 행동이 보고됐지만 큰 반향은 없었다고 합니다.