Osegi
AI·2 분 소요

Idea Lens, 글이 아닌 아이디어의 AI 출처를 가려낸다

Idea Lens는 단어 선택이 아니라 논증 구조를 봅니다. 연구진은 글 속 아이디어가 사람에게서 나왔는지 챗봇에게서 나왔는지 구별할 수 있다고 밝혔습니다.

A researcher reading a printed scientific paper with highlighted passages next to a laptop showing an analysis of the text's argument structure.
이미지: t3n Magazin

문장이 아니라 아이디어 자체가 사람의 것인지 AI의 것인지 가려내는 도구가 나왔습니다. 메릴랜드대와 구글 딥마인드 연구진이 공개한 "Idea Lens"입니다.

아직 독립 전문가의 검토를 받지 않은 프리프린트 단계의 연구입니다.

Idea Lens는 어떻게 작동하나

Pangram 같은 기존 탐지기는 단어 선택, 문장 구조, 통계적 문장 패턴 등 표면적 특징을 분석합니다. Idea Lens는 논문 같은 글을 먼저 작은 단위로 나누고, 각 부분의 내용과 기능을 기술합니다. 증거인지, 권고인지, 설명인지를 구분하는 식입니다.

저자 특유의 표현을 제거하기 위해 별도의 언어 모델이 내용을 다시 씁니다. 원래 문체와 어휘는 거의 사라집니다. 덕분에 여러 언어에서 쓸 수 있다는 부수 효과도 있습니다. 이렇게 남은 구조에서 논점의 순서와 유형을 평가합니다. 대규모 언어모델은 비슷한 패턴으로 글을 구성하는 경향이 있다고 합니다.

학습에는 약 80만 편의 글을 썼고, Pangram이 AI 생성 또는 사람 작성으로 라벨을 붙였습니다. Pangram의 판정이 완벽하지 않은 점을 연구진은 학습 데이터에 적당한 "잡음"을 넣는 장점으로 봅니다.

결과와 한계

AI가 쓰거나 공동 집필했지만 아이디어는 사람의 것인 글에서, Pangram은 최대 92.4%를 AI 생성으로 판정했습니다. Idea Lens는 글의 구조에 따라 최대 7%까지 낮아졌습니다.

반대로 사람이 AI가 만든 구조를 따라 쓴 글은 Idea Lens가 68%에서 AI 출처를 찾아냈습니다. 문체 기반 탐지기는 10%에 못 미쳤습니다.

차이도 흥미롭습니다. 사람의 글에는 구체적 세부 사항과 행동 지침이 더 많고, 한계와 걸림돌도 직접 언급합니다. AI는 바꿔 끼워도 되는 일반적 표현을 쓰고 단점과 상충 관계는 빼거나 과소평가합니다.

독립 연구자들은 사람과 기계가 처음부터 함께 아이디어를 내는 "공저" 상황에는 맞지 않는다고 지적합니다. 어떤 단서를 어떻게 가중하는지 알 수 없는 블랙박스라는 점은 연구진도 인정합니다. Rishanth Rajendhran은 다른 도구와 함께, 개별 사례가 아니라 연구자의 전체 작업에 적용해야 한다고 말합니다. 평판에 큰 피해가 갈 수 있기 때문입니다. 연구자가 자기 작업에서 AI가 맡은 역할을 스스로 돌아보는 용도도 염두에 두고 있습니다.

주목할 만한 앱

SUMO: 숫자 퍼즐

올바른 칸을 고르고 더해 목표 숫자를 맞추세요. 배우긴 쉽고 마스터하긴 어렵습니다. 무료, 전 연령.

태그:idea lensai detectionpangramgoogle deepminduniversity of marylandchatgpt

같은 날의 다른 뉴스

전체 보기 →

관련 카테고리: AI

전체 보기 →