Osegi
AI·2 분 소요

Sber, 말하는 아바타 AI 'Kandinsky Avatar 1.0' 공개

Sber가 사진과 음성 녹음으로 최대 1분 길이의 말하는 영상 아바타를 만드는 Kandinsky Avatar 1.0을 공개했습니다. MIT 라이선스로 상업적 이용도 가능합니다.

A realistic digital avatar of a speaking person generated from a photo and voice recording by a neural network.
이미지: rb.ru

러시아 Sber가 사진과 음성 녹음만으로 말하는 영상 아바타를 만드는 AI 모델 패밀리 Kandinsky Avatar 1.0을 공개했습니다. 회사에 따르면 최대 1분 길이, 초당 24프레임의 영상을 생성하며, 입 모양을 음성에 맞추고 표정과 고개 돌림, 제스처도 자동으로 추가합니다.

영상을 만들려면 사진, 오디오, 장면을 설명하는 짧은 텍스트가 필요합니다. 아바타의 감정은 기쁨, 슬픔, 분노 등을 텍스트 명령으로 지정할 수 있고, 음성은 원본 녹음의 언어 그대로 재생됩니다. Sber는 이 모델이 음성을 생성하거나 복제하지 않으며 이미지와 음성 트랙은 사용자가 직접 제공해야 한다고 밝혔습니다.

MIT 라이선스로 코드·가중치 공개

코드와 가중치는 MIT 라이선스로 GitHub, GitVerse, Hugging Face에 올라왔습니다. 개발자는 무료로 내려받아 상업용 프로젝트에도 쓸 수 있습니다. Sber는 외부 AI 도구와의 연동 지원도 계획하고 있으며 자사 서비스에도 아바타를 도입할 예정입니다.

모델은 영상 생성 모델 Kandinsky 5.0 Video를 기반으로 하며 Pro와 Lite 두 버전이 있습니다. Pro는 HD 해상도를 지원하고, Sber의 내부 비교에서 상용 서비스 HeyGen과 비슷한 품질을 보였으며 테스트한 오픈 모델보다 앞섰다고 합니다. Lite는 사양이 낮은 장비용으로 가정용 그래픽카드에서도 돌아가지만 SD 해상도로 생성됩니다. 학습에는 러시아어, 영어, 카자흐어, 스페인어, 프랑스어 등 95개 언어의 인터뷰, 강연, 팟캐스트를 포함한 100만 개 이상의 영상 클립이 쓰였습니다.

활용 분야

Sber는 블로거용 가상 진행자, 디지털 강사가 나오는 온라인 강의, 고객 응대용 가상 상담원, 입 모양을 맞춘 영상 현지화, 게임과 애니메이션 캐릭터, 영상 카드 등을 활용 사례로 꼽았습니다.

Sber의 데이터 연구 총괄 데니스 드미트로프는 러시아 개발자가 기술을 처음부터 만들지 않고 자사 제품에 넣어 추가 학습할 수 있는 기반을 제공하려는 것이라고 밝혔습니다. 개발자 피드백은 이후 Kandinsky 개선에 반영할 계획입니다.

주목할 만한 앱

SUMO: 숫자 퍼즐

올바른 칸을 고르고 더해 목표 숫자를 맞추세요. 배우긴 쉽고 마스터하긴 어렵습니다. 무료, 전 연령.

태그:sberkandinsky avataropen sourcevideo generationhugging faceavatars

같은 날의 다른 뉴스

전체 보기 →

관련 카테고리: AI

전체 보기 →