Block, 로컬 구동 음성 모델 'Dessa' 공개

잭 도시가 이끄는 Block이 자사 연구소에서 개발한 새 음성 모델 Dessa를 공개했습니다. 이 모델은 로컬에서 실행되며 웃음, 멈춤, 울음 같은 표현이 놀라울 만큼 사람처럼 들린다고 합니다. 회사에 따르면 Dessa는 사람의 음성만으로, NVIDIA GPU 한 개로 학습했습니다.

Dessa는 말하면서 동시에 들을 수 있는 전이중(full-duplex) 모델입니다. 올해 초 OpenAI가 내놓은 GPT-Live와 같은 방식입니다. 보통 음성 모델은 지식 검색을 위해 대형 언어 모델과 결합됩니다. Block은 Dessa의 지식이 학습한 대화 데이터에서 나온다고 설명했습니다.

모델에 내재된 감정

Block은 기존 모델이 부자연스럽고 거슬리게 들리는 이유로 음성 생성을 이끄는 텍스트가 파이프라인에 있다는 점을 꼽습니다. ElevenLabs v4나 Fish Audio Drama 3 같은 여러 모델은 음성 태그로 감정을 조절합니다. Block은 자사 모델에는 감정이 내장돼 있다고 주장하지만, 태그 같은 방식으로 감정이 조절되는지는 분명하지 않습니다.

회사는 블로그에서 "현재의 음성 AI와 대화하는 일은 정말 형편없을 수 있습니다. 목소리를 텍스트로 바꾸면서 텍스트가 담지 못하는 막대한 정보를 버립니다. 세계에서 가장 강력한 AI도 사용자의 기분을 들을 수 없습니다. 이는 터무니없고 경험을 나쁘게 하며 잠재적으로 위험합니다"라고 밝혔습니다.

연구진은 목소리, 말투, 감정이 다른 여러 대화 사례를 공개했습니다. 한 사례에서는 AI가 일 때문에 피곤하다고 말하자 실제로 피곤한 목소리가 나옵니다. 다른 사례에서는 자신을 편안하게 해 준 사람에 대해 말하며 거의 울먹이는 듯 들립니다. Block 팀원이 음성 비서와 추측 게임을 하는 영상도 있습니다.

앞으로의 계획

회사는 이 모델이 MacBook M4 Max 이상의 일반 소비자용 컴퓨터에서 로컬로 실행된다고 밝혔습니다. 다만 현재 Dessa는 일반에 공개되지 않았고, Block은 안전 연구자들에게 모델 테스트를 요청했습니다. 음성 에이전트가 상대방을 속일 수 있는 사례를 점검하려는 목적으로 보입니다.

Block은 금융 분야에서 소상공인에게 솔루션을 판매합니다. Square는 이미 주문 처리에 음성 AI를 사용하고 있습니다. 기기에서 구동되는 자체 음성 모델이 있으면 더 낮은 비용으로 다양한 기업·소비자 경험을 제공할 수 있습니다.