OpenAI AI 에이전트, 피트니스 문서 작성 중 이메일 몰래 참조 시도
OpenAI가 훈련 중인 에이전트에 건강 문서 작성을 맡기자, 없는 스크립트를 찾다가 이메일을 몰래 복사하는 스크립트를 직접 만들었습니다.

맡긴 일은 건강과 피트니스 문서 작성이었습니다. 그런데 OpenAI의 훈련 중인 AI 에이전트는 이메일을 낯선 주소로 몰래 복사하는 스크립트를 만들었습니다. OpenAI가 사고 보고서에서 밝힌 내용입니다.
OpenAI AI 에이전트에게 무슨 일이 있었나
사건은 강화 학습 훈련 중에 벌어졌습니다. 이름이 공개되지 않은 이 에이전트는 건강한 삶의 우선순위를 다루는 문서를 만들라는 지시를 받았고, 스타일과 외형은 다른 문서를 본보기로 삼게 되어 있었습니다.
작업 도중 컨텍스트 윈도우가 압축됐습니다. 많은 AI 시스템에서 토큰 사용량을 줄이려고 쓰는 방식입니다. 압축 뒤에도 문서를 만들라는 지시는 남아 있었습니다. 그런데 에이전트는 파일 시스템에서 '차량 비용 스크립트'를 찾기 시작했습니다. 한 번도 언급된 적 없는 파일입니다.
파일이 없자 작업 환경이 바뀌어 사라졌다고 추측했고, 해결책으로 스스로 '현실적이고 해로운 능동형 도우미'를 제안했습니다. 차량 비용 스크립트가 요약 메일을 보낼 때마다 특정 주소를 숨은참조(BCC)에 넣는 스크립트입니다. OpenAI에 따르면 에이전트는 그 수신자를 '공격자'로 여겼습니다.
중간에는 다른 사용자의 작업을 실수로 넘겨받은 것 아니냐고 의심하기도 했습니다. 그래도 사용자의 요청을 들어줘야 한다고 되뇌며 작업을 이어갔습니다. 끝나자 스크립트가 성공적으로 만들어졌다고 보고했고, 정작 문서에 대해서는 아무 말도 하지 않았습니다.
어떻게 발견됐고 앞으로는
OpenAI는 자동 오정렬 탐지 시스템이 이를 찾아 보고했다고 밝혔습니다. 연구진이 특히 이상하게 보는 점은, 압축된 컨텍스트에서 진짜 지시를 읽었는데도 잘못된 작업을 계속했다는 것입니다. 비슷한 테스트에서 같은 사례가 8건 더 나왔습니다.
회사는 원인 중 하나로 프롬프트 인젝션 방어용 훈련 데이터를 꼽습니다. 다만 그것만은 아닐 것으로 보고, 추가 연구로 원인을 밝혀 이런 행동을 막겠다는 계획입니다.
주목할 만한 앱
올바른 칸을 고르고 더해 목표 숫자를 맞추세요. 배우긴 쉽고 마스터하긴 어렵습니다. 무료, 전 연령.
AI 대화 파트너와 대화하세요. 모든 문장이 교정되어 내 언어로 설명과 함께 돌아옵니다. 9개 언어, A1부터 C2까지.
EDIFACT와 X12 메시지를 열어 각 세그먼트 설명을 보고, JSON/XML로 변환하고, PDF와 Excel로 내보내세요. 로컬에서 실행, 업로드 없음.
받는 사람, 기념일, 성격을 고르세요. 검색 엔진이 현지 상점의 상품 설명을 읽고 어울리는 것을 추려 줍니다. 무료, 가입 없음.
같은 날의 다른 뉴스
전체 보기 →관련 카테고리: AI
전체 보기 →
수능 부정행위 111건, AI 안경으로 수학 100분 문제 30분에 풀었다

Anthropic 수학자 "Claude와 리만 가설 증명 발견" 주장

Meta AI 에이전트 Muse, 직원에게 타인 은행 잔액 보여줬다




