사진 한 장만 입력하면 3D 캐릭터가 사진 속 동작을 그대로 따라 하도록 만드는 인공지능 기술이 국내 연구진에 의해 개발됐다. 이 기술은 기존 3D 콘텐츠 제작 과정에서 필수적으로 요구되던 다각도 촬영 데이터나 복잡한 모션 캡처 장비 없이도 자연스러운 3D 동작을 구현할 수 있어, 메타버스·게임·애니메이션 산업 전반의 제작 비용과 진입 장벽을 크게 낮출 것으로 기대된다.

UNIST 인공지능대학원 주경돈 교수 연구팀은 3D 가우시안 스플래팅(3D Gaussian Splatting) 기반으로 생성된 3D 캐릭터의 자세를 형태 왜곡 없이 변형하는 AI 모델 ‘디폼스플랫(DeformSplat, Rigidity-aware 3D Gaussian Deformation)’을 개발했다고 25일 밝혔다.

3D 가우시안 스플래팅은 2D 사진을 입력받아 3D 객체를 재구성하는 최신 AI 기술로, 최근 그래픽스 분야에서 빠르게 주목받고 있다.

반면에 기존 방식은 캐릭터를 움직이기 위해 여러 각도에서 촬영된 이미지나 연속된 비디오 데이터가 필요했고, 데이터가 부족할 경우 팔·다리 등이 비정상적으로 휘어지는 형태 왜곡이 발생하는 한계가 있었다.

연구팀이 개발한 디폼스플랫은 사진 단 한 장만으로도 3D 캐릭터의 자세를 자연스럽게 변경할 수 있다.

실험 결과, 캐릭터가 팔을 들거나 몸을 비트는 동작을 수행할 때 정면뿐 아니라 측면·후면에서도 비율이 무너지지 않았으며, 관절이 고무처럼 늘어나는 현상도 거의 나타나지 않았다.

이 기술의 핵심은 △가우시안–픽셀 매칭(Gaussian-to-Pixel Matching) △강체 부위 분할(Rigid Part Segmentation) 두 가지다.

가우시안–픽셀 매칭은 3D 캐릭터를 구성하는 가우시안 점들과 사진 속 픽셀을 연결해, 사진에 담긴 자세 정보를 정확하게 3D로 전달한다.

강체 부위 분할 기술은 움직임 과정에서 함께 변형돼야 하는 단단한 구조를 스스로 찾아 묶어줌으로써, 로봇·인형·캐릭터의 형태가 찌그러지지 않도록 유지한다.

주경돈 교수는 “기존 기술은 사진 한 장만으로 3D 물체를 움직이려 하면 형태가 크게 훼손되는 문제가 있었다”며 “이번 연구는 물체의 구조적 특성을 AI가 스스로 파악해 뼈대 역할을 하는 영역을 구분하고 자연스러운 움직임을 생성하는 기술”이라고 설명했다.

이어 “전문 장비와 고가의 제작 인력이 필요했던 3D 콘텐츠 제작의 문턱을 크게 낮출 것”이라고 강조했다.

이번 연구 성과는 SIGGRAPH ASIA 2025에 논문으로 채택됐다. SIGGRAPH ASIA는 ACM이 주관하는 세계 최고 권위의 컴퓨터 그래픽스·인터랙티브 기술 학회로, 연구의 기술적 완성도와 혁신성을 인정받았다는 평가다.

올해 학회는 12월15일부터 18일까지 홍콩에서 개최됐다.

연구는 과학기술정보통신부 정보통신기획평가원(IITP)과 UNIST 인공지능대학원의 지원을 받아 수행됐다.