오디오-투-오디오 방식 적용해 원본 감정·목소리 재현

AI 오디오 전문기업 일레븐랩스(ElevenLabs)가 원본 음성의 감정과 표현을 유지하는 차세대 AI 더빙 모델을 공개했다. 콘텐츠 현지화 수요가 증가하는 가운데 다국어 더빙 품질 향상을 목표로 한 기술이다.

일레븐랩스는 AI 더빙 모델 ‘더빙 v2(Dubbing v2)’를 자사 API 서비스인 일레븐API(ElevenAPI)를 통해 제공한다고 밝혔다.

이번 모델은 지난 5월 사용자 인터페이스(UI) 버전으로 공개된 이후 API 형태로 확대 제공되는 것으로, 개발자와 기업이 자체 서비스와 워크플로우에 직접 연동할 수 있게 됐다.

더빙 v2는 음성을 텍스트로 변환한 뒤 다시 음성으로 합성하는 기존 방식과 달리, 음성을 음성으로 직접 변환하는 ‘오디오-투-오디오(Audio-to-Audio)’ 구조를 적용했다.

일레븐랩스는 이를 통해 원본 화자의 감정 표현과 목소리 특성, 퍼포먼스를 보다 자연스럽게 유지할 수 있다고 설명했다.

주요 기능으로는 △감정 및 표현력 재현 강화 △화자 음성 기반 다국어 번역 △영상과의 발화 타이밍 정합성 향상 △92개 언어 지원 등이 포함된다.

회사에 따르면 지원 언어에는 한국어와 일본어도 포함된다.

일레븐랩스는 더빙 v2의 주요 활용 분야로 콘텐츠 제작과 글로벌 로컬라이제이션 시장을 제시했다.

영상 크리에이터와 게임 개발사는 캐릭터 대사 및 컷신 현지화에 활용할 수 있으며, 기업은 마케팅 콘텐츠와 홍보 영상을 다국어로 제작하는 데 적용할 수 있다. 또한 영화와 드라마 등 장편 콘텐츠의 해외 배급 과정에서도 활용 가능성이 있다고 설명했다.

특히 한국어와 일본어를 지원함에 따라 K-콘텐츠의 해외 진출과 해외 콘텐츠의 한국어 더빙 등 양방향 활용도 기대된다고 밝혔다.

다만 라이브 스트리밍 등 실시간 다국어 더빙 기능은 이번 공개 범위에 포함되지 않는다.

일레븐랩스는 더빙 v2를 통해 콘텐츠 제작 과정에서 고품질 더빙 작업의 접근성을 높이는 것을 목표로 하고 있다고 설명했다.