일레븐랩스, AI 더빙 모델 '더빙 v2' 출시…음성 대 음성 직접 변환

AI 요약

인공지능 오디오 연구개발 부문 글로벌 스타트업 일레븐랩스가 새로운 더빙 AI 모델 더빙 v2를 일레븐API로 제공한다고 발표했으며, 이번 API 공개로 사용자는 자사 제품과 워크플로에 직접 통합할 수 있게 됐습니다. 더빙 v2는 음성을 음성으로 직접 변환하는 audio-to-audio 아키텍처를 채택해 화자의 목소리와 감정 표현 및 퍼포먼스를 충실하게 반영하고 발화 타이밍을 영상과 맞춰 싱크 정확도를 높였으며 한국어를 포함해 92개국 언어를 지원합니다. AI 립싱크 가공과 라이브 스트리밍 영상 등 실시간 다국어 더빙 기능은 제공되지 않으며, 일레븐랩스는 콘텐츠 크리에이터·미디어 기업·글로벌 기업을 주요 대상으로 기존 영화나 TV급 품질 더빙에 비해 합리적 비용으로 고품질 더빙을 지원한다고 주장했습니다.