일레븐랩스, 음성 에이전트용 STS 모델 ‘일레븐 리얼타임’ 출시

기사입력2026.11.03 09:45

미니·맥스 두 모델 구성, 90개 이상 언어 지원, 일레븐에이전트·리얼타임 API로 제공

음성 에이전트 구축 시 복수의 구성 요소를 개별 조합해야 했던 기존 방식의 한계를 줄이는 통합형 음성 대 음성(Speech to Speech, STS) 모델이 등장했다. 일레븐랩스(ElevenLabs)가 음성 인식부터 합성까지 하나의 시스템으로 묶은 ‘일레븐 리얼타임(Eleven Realtime)’을 공개하며, 개발자가 모델 선택만으로 음성 에이전트를 구성할 수 있는 환경을 제공한다고 밝혔다.

일레븐랩스는 3일 ‘일레븐 리얼타임’을 출시했다.

이 모델은 △빠르고 자연스러운 대화에 최적화된 ‘일레븐 리얼타임 v1 미니(Eleven Realtime v1 Mini)’ △복잡한 작업 처리에 적합한 ‘일레븐 리얼타임 v1 맥스(Eleven Realtime v1 Max)’의 두 가지로 구성되며, 음성·채팅 에이전트 플랫폼 ‘일레븐에이전트(Eleven Agents)’와 ‘리얼타임 API(Realtime API)’를 통해 이용할 수 있다.

두 모델 모두 한국어·일본어를 포함한 90개 이상의 언어와 17,000개 이상의 보이스 라이브러리를 지원한다.

모델 선택만으로 음성 에이전트 구성

기존에는 자연스러운 대화형 음성 에이전트를 만들려면 음성 인식, 발화 구간 감지, 대화 차례 전환(턴테이킹), 대규모 언어 모델(LLM), 음성 합성 등 각 요소를 따로 선택·조합해야 했다.

‘일레븐 리얼타임’은 이 구성 요소들을 단일 시스템으로 통합해, 사용자가 모델만 선택하면 음성 에이전트를 바로 구축할 수 있다고 회사 측은 설명했다.

v1 미니는 AI 어시스턴트·교육용 튜터·게임 인터랙티브 캐릭터 등에, v1 맥스는 고객 지원·리드 퀄리피케이션·다단계 업무 처리 등에 적합하다고 밝혔다.

두 모델 모두 자연스러운 턴테이킹과 끼어들기 대응, 도구 호출을 지원하며, 모델명만 변경해 v1 미니와 v1 맥스 간 전환이 가능하다.

제3자 벤치마크 정확도·응답 속도

제3자 평가 기관 아티피셜 애널리시스(Artificial Analysis)의 2026년 10월 평가 결과, v1 맥스는 음성 기반 추론 벤치마크 ‘빅 벤치 오디오(Big Bench Audio)’에서 98.8%의 정답률을 기록했다.

질문 종료 후 첫 응답까지 걸린 시간은 0.57초였으며, 동 리더보드에서 v1 맥스보다 응답 속도와 정확도가 모두 높은 모델은 없는 것으로 나타났다.

대화 중 침묵·턴테이킹·끼어들기·맞장구 대응을 측정하는 ‘풀 듀플렉스 벤치(Full-Duplex-Bench)’에서는 v1 미니가 95.8%, v1 맥스가 94.1%를 기록했다.

리얼타임 API는 오픈AI(OpenAI) 리얼타임 API와 호환되며 웹소켓(WebSocket)으로 연결된다.

기존 오픈AI 리얼타임 API 사용자는 연결 대상과 모델명만 변경해 전환할 수 있으나, 출시 시점에는 웹RTC(WebRTC)를 지원하지 않는다.

#LLM #자연어 처리 #인공지능 #ElevenLabs #음성 합성 #음성 인식 #음성 에이전트 #Speech to Speech #STS #Realtime API

본 기사에 대한 정정·반론·추후보도 청구는 보도 청구 안내를, 그간 게재된 보도문은 정정·반론보도 모아보기를 참고해 주세요.

배종인 기자

기사 전체보기

일레븐랩스, 음성 에이전트용 STS 모델 ‘일레븐 리얼타임’ 출시

댓글

관련 뉴스

일레븐랩스, 신임 CRO에 애슐리 크레이머 선임

일레븐랩스, CFO에 아디옌 출신 이든 탄도우스키 선임

일레븐랩스·UMG, 다년간 파트너십 체결…AI 음악 창작 플랫폼 출시

일레븐랩스, TTS 모델 ‘일레븐 v4·v4 터보’ 출시

일레븐랩스, 기업가치 220억불 달성…3억불 규모 공개매수 완료