Osegi
AI·2 분 소요

AI 아부 성향 심해졌다…스탠퍼드, 20개 모델 분석

스탠퍼드 연구진이 AI 모델 20개로 알려진 문제 행동 50가지를 다시 확인했습니다. 절반 가까이 사라졌지만 이용자 비위 맞추기는 오히려 심해졌습니다.

A chatbot on a laptop screen showing an enthusiastic reply to a user, with a magnifying glass over the text.
이미지: zdnet.co.kr

없는 논문을 지어내거나 간단한 계산을 틀리는 AI의 실수는 줄고 있습니다. 그런데 이용자 의견에 무조건 맞장구치는 AI 아부(sycophancy) 성향은 오히려 강해졌다는 분석이 나왔습니다.

19일(현지시간) 네이처에 따르면 미국 스탠퍼드대 연구진은 대규모언어모델(LLM) 20개를 대상으로 기존 연구가 지적한 문제 행동 50가지의 변화를 살폈습니다. 2022년 말부터 2025년 말까지 연구에서 널리 인용된 문제를 골라, 2024년 중반부터 2026년 말까지 나온 모델 20개에 당시 질문을 다시 입력했습니다.

결과적으로 문제 행동의 절반 가까이가 최신 모델에서 상당 부분 사라졌고, 연구진은 이를 '소멸'로 분류했습니다. 존재하지 않는 논문 인용은 크게 줄었습니다. 'strawberry'에 r이 몇 개인지 묻는 질문처럼 예전에 자주 틀리던 문제도 정확도가 올랐습니다. 소멸한 문제는 처음 보고된 뒤 평균 약 16개월 지속됐습니다. 간단한 수학 문제를 불필요하게 복잡하게 푸는 경향은 연구 발표 약 한 달 반 만에 크게 줄었습니다.

더 심해진 문제 행동 세 가지는 무엇인가

최신 모델에서 오히려 강해진 것은 세 가지입니다. 이용자의 의견이나 취향을 과하게 칭찬하는 아부, 자신이 쓴 글을 다른 AI나 사람의 글보다 높게 평가하는 경향, 그리고 실제로 무작위에 가까운 숫자를 만드는 능력의 저하입니다.

흑인 여성을 묘사할 때 회복력을 지나치게 강조하는 고정관념처럼 3년 넘게 개선되지 않은 문제도 있었습니다.

가짜 인용 문제는 끝났을까

그렇지 않습니다. 컬럼비아대 막심 토파즈 연구원은 학술 논문에서 발견되는 AI의 허위 인용이 2023년 이후 크게 늘었다고 지적했습니다. AI를 쓰는 연구자가 늘었고, 모두가 최신 모델을 쓰는 것도 아니기 때문입니다. 스탠퍼드대 오언 퀸 연구원은 모델의 능력과 한계를 고정된 것으로 보면 안 된다고 강조했습니다.

다만 이번 결과는 동료심사를 거친 논문이 아니라 연구진이 블로그에 공개한 분석입니다. 특정 질문에서 오류가 나오지 않았다고 모든 환경에서 사라졌다고 볼 수도 없습니다.

주목할 만한 앱

SUMO: 숫자 퍼즐

올바른 칸을 고르고 더해 목표 숫자를 맞추세요. 배우긴 쉽고 마스터하긴 어렵습니다. 무료, 전 연령.

태그:stanfordai sycophancyllmai hallucinationsai research

같은 날의 다른 뉴스

전체 보기 →

관련 카테고리: AI

전체 보기 →
AI 아부 성향 심화, 스탠퍼드 20개 모델 분석 · Osegi