영상 분석해 음악·효과음 자동 생성, 숏폼 콘텐츠부터 광고 제작까지 지원

일레븐랩스(ElevenLabs)가 영상 콘텐츠에 맞춰 음악과 효과음을 자동 생성하는 AI 오디오 기능 인스턴트 사운드트랙(Instant Soundtracks)을 출시했다.

인스턴트 사운드트랙은 사용자가 업로드한 영상을 분석해 장면에 어울리는 오리지널 음악을 생성하고, 효과음이 필요한 구간을 자동으로 감지해 타임스탬프에 맞춰 배치하는 기능이다. 해당 기능은 일레븐크리에이티브(ElevenCreative), 일레븐뮤직(ElevenMusic), 일레븐API(ElevenAPI)에서 사용할 수 있다.

일레븐랩스에 따르면 인스턴트 사운드트랙은 영상 한 편에 필요한 배경음악과 효과음을 한 번에 생성할 수 있다. 광고 영상의 로고 등장 장면이나 숏폼 콘텐츠의 주요 전환 구간에 맞춰 효과음을 삽입할 수 있도록 설계됐다.

또한 영상 분위기에 따라 음악의 무드를 자동으로 변경한다. 빠른 전개 장면에는 EDM이나 R&B 스타일을, 차분한 장면에는 어쿠스틱 기반 사운드를 적용하는 방식이다.

영상에 포함된 기존 오디오를 분석해 장르와 BPM, 악기 구성 등을 참고한 맞춤형 음악 생성도 지원한다.

인스턴트 사운드트랙은 일레븐크리에이티브의 뮤직 비디오 에디터와 연동된다. 사용자는 음악과 효과음을 각각 별도 레이어로 확인하고 개별 수정이나 타이밍 조정, 음악 교체 등을 수행할 수 있다.

개발자를 위한 API 기능도 함께 제공된다. 새로운 API 파라미터를 통해 음악과 효과음을 별도 파일로 분리해 받을 수 있으며, 한 번의 요청으로 최대 10개 영상까지 처리할 수 있다.

일레븐랩스는 해당 기능을 10월 15일부터 제공하고 있으며, 영상 제작 과정에서 오디오 작업을 간소화할 수 있는 AI 기반 도구로 활용될 수 있을 것으로 보고 있다.