Osegi
보안·2 분 소요

OpenAI CSAM 탐지 도구 공개, AI 생성 이미지도 잡는다

OpenAI가 처음 보는 이미지와 AI 생성 이미지까지 가려내는 CSAM 탐지 도구를 공개했습니다. ChatGPT에서 CSAM을 찾으면 계정이 24시간 정지됩니다.

A person typing a message into the ChatGPT interface on a laptop, with a warning notice on the screen.
이미지: ITmedia NEWS

OpenAI가 11월 16일(현지시간) 아동 성착취물(CSAM)을 찾아내는 새 이미지 분류 도구 "OpenAI CSAM Image Classifier"를 발표했습니다. 알려진 불법 이미지의 해시값과 대조하는 기존 방식으로는 찾기 어려웠던 신규 이미지와 생성형 AI로 만든 이미지도 대상입니다. 심사를 통과한 기관에는 OpenAI API로 무료 제공합니다.

OpenAI CSAM Image Classifier는 어떻게 작동하나

이 도구는 이미지 속 성적 학대의 시각적 특징을 분석해 CSAM일 가능성을 점수로 보여줍니다. AI 생성 CSAM 가능성을 나타내는 전용 점수도 따로 나옵니다. OpenAI는 AI 생성 CSAM 전용 판정 지표를 갖추고 폭넓은 기관이 쓸 수 있는 분류 도구로는 처음이라고 설명했습니다. 개발에는 미국 실종·착취아동센터(NCMEC)가 참여했고, 업계 단체 Tech Coalition과 비영리단체 ROOST도 제공을 돕습니다.

사용자가 올린 이미지로 평가한 결과, 기존 도구와 거의 같은 수의 학대 이미지를 찾으면서 검토 대상으로 보고되는 이미지는 48% 줄일 것으로 추정됩니다. 도구가 짚은 이미지 중 실제 학대 콘텐츠인 비율은 기존 도구의 약 2배였습니다. 먼저 도입한 fal에서는 확신도가 높은 탐지 결과의 72%를 담당자가 신규 CSAM으로 확인했습니다. invideo AI에서는 탐지 사례 4건 중 1건이 계정 정지로 이어졌습니다.

다만 모델 카드에 따르면 ChatGPT의 실제 통신에서 정밀도는 오프라인 평가보다 크게 낮았습니다. 영아가 담긴 이미지의 재현율은 49.3%에 그쳤고, 동영상 프레임은 검증하지 않았습니다. OpenAI는 점수만으로 CSAM을 단정하거나 법적 신고 근거로 삼지 말고 최종 판단은 사람 검토자가 하도록 권고합니다.

ChatGPT에서 CSAM을 찾으면 어떻게 되나

함께 도입된 경고 기능은 ChatGPT에서 CSAM을 찾으려는 행위를 감지하면 이를 찾는 것 자체가 이용약관 위반이라고 알립니다. 해당 대화는 삭제되고 계정은 24시간 정지됩니다. 경고 화면에서는 무료 전문 지원 창구도 안내합니다. 반복하면 제한 기간 연장, 계정 폐쇄, 당국 신고로 이어질 수 있습니다.

개발자용 CSAM 예방·탐지·신고 가이드라인도 공개됐고, 법 집행기관의 아동보호 부서에는 채팅 기록 검토를 돕는 도구와 교육이 제공됩니다.

주목할 만한 앱

SUMO: 숫자 퍼즐

올바른 칸을 고르고 더해 목표 숫자를 맞추세요. 배우긴 쉽고 마스터하긴 어렵습니다. 무료, 전 연령.

태그:openaicsamchatgptchild safetyimage classifierncmec

같은 날의 다른 뉴스

전체 보기 →

관련 카테고리: 보안

전체 보기 →
OpenAI CSAM 탐지 도구, AI 생성 이미지도 대상 · Osegi