AI2026. 11. 5. 오전 6:50 UTC·2 분 소요

Sber, 말하는 아바타 모델 Kandinsky Avatar 1.0 공개

Sber가 Kandinsky Avatar 1.0의 코드와 가중치를 MIT 라이선스로 공개했습니다. 이미지와 음성으로 말하는 애니메이션 캐릭터를 생성합니다.

이미지: Хабр

Sber 개발팀이 이미지와 음성 녹음을 입력받아 말하는 애니메이션 캐릭터를 만들어 내는 모델 Kandinsky Avatar 1.0을 공개했습니다. 코드와 가중치는 MIT 라이선스로 공개됐습니다.

기능과 학습 데이터

Kandinsky Avatar는 입술 움직임을 음성에 맞추고 표정, 제스처, 고개 돌림을 더합니다. 말투와 원하는 감정은 텍스트 프롬프트로 지정할 수 있습니다. 아바타로는 사람뿐 아니라 만화 캐릭터나 동물도 쓸 수 있습니다.

모델은 Kandinsky 5.0 Video를 기반으로 화면에 말하는 사람이 한 명인 영상 클립 117만 개로 학습했습니다. 데이터셋에는 95개 언어 자료가 포함됐습니다.

두 가지 모델과 실행 환경

모델은 두 종류입니다. 20억 파라미터의 Lite는 SD 영상을, 210억 파라미터의 Pro는 HD 영상을 생성합니다. 권장 사양은 SD용 48GB, HD용 80GB 메모리를 갖춘 Nvidia GPU입니다. 프레임을 나눠 디코딩하면 최대 메모리 사용량을 28GB까지 줄일 수 있지만, 영상에 구역 간 경계가 보일 수 있습니다.

Sber에 따르면 Kandinsky Avatar 1.0 Pro는 주요 오픈·상용 모델과 비교 평가를 거쳤습니다. 참가자가 영상 쌍을 보고 7개 기준으로 평가해, 어떤 모델인지 모른 채 더 나은 쪽을 고르는 블라인드 테스트였습니다. Kandinsky 영상은 Kling Avatar 2 대비 63%, LongCat-Avatar-1.5 대비 60%, HeyGen IV 대비 54%의 비율로 선택됐습니다.

Sber 데이터 연구 총괄 데니스 드미트로프는 영상 아바타를 교육·광고 영상, 영상 안내, 고객 대상 개인 메시지 제작에 쓸 수 있다고 설명했습니다. 러시아 개발자가 기술을 처음부터 만들지 않고 자체 기반 위에서 제품에 통합하고 추가 학습할 수 있게 하려는 취지입니다.

코드와 가중치는 GitHub, GitVerse, Hugging Face에서 무료로 받을 수 있으며, 향후 ComfyUI와 Diffusers에서도 사용할 수 있습니다. Sber는 커뮤니티 피드백을 차기 Kandinsky 버전과 자사 서비스의 영상 아바타 도입에 반영할 계획입니다.