UNIST 연구진이 사용자의 자연어 입력을 바탕으로 3차원 공간 안의 특정 사물을 찾아내는 AI 기술을 개발했다. ‘흰색 소파’, ‘라면 위 달걀’처럼 구체적인 표현으로 대상을 지정하면 3D 복원 공간에서 해당 물체의 위치와 영역을 식별하는 방식이다.

UNIST는 8일 인공지능대학원 주경돈 교수팀이 오픈어휘 기반 3D 공간 인식 기술 ‘LightSplat’을 개발했다고 밝혔다. 이번 연구 결과는 지난 3일부터 5일간 미국 덴버에서 열린 컴퓨터 비전 분야 국제학회 CVPR 2026에 채택됐다.

LightSplat은 로봇과 증강현실, 디지털 트윈 등 3차원 공간을 다루는 분야에서 자연어 기반 객체 인식을 빠르게 수행하기 위한 기술이다. 기존 3D 공간 인식 기술은 미리 정해진 물체 범주를 중심으로 작동하거나, 3D 공간 내 각 점 입자에 많은 의미 정보를 저장해야 해 처리 시간과 메모리 부담이 컸다.

연구팀은 카메라 영상으로 복원한 3D 공간의 점 입자, 즉 가우시안에 긴 언어 특징값을 직접 저장하지 않고 2바이트 크기의 짧은 인덱스를 붙이는 방식을 적용했다. 실제 의미 정보는 별도 표에 저장하고, 필요할 때 인덱스를 통해 불러오는 구조다.

이를 통해 3D 공간을 자연어 검색이 가능한 상태로 만드는 시간을 약 5초로 줄였다. 연구팀은 기존 최신 기술보다 약 50~400배 빠른 수준이며, 메모리 사용량은 64분의 1 수준으로 감소했다고 설명했다.

성능 평가에서는 LERF-OVS와 DL3DV-OVS 데이터셋을 활용해 작은 물체와 원거리 물체를 구분하는 실험을 진행했다. 라면 위 달걀, 유리잔 안의 차, 멀리 있는 자동차, 사무실 가구 등 크기와 배치가 다른 대상을 식별하는 결과를 확인했다.

ScanNet 기반 3D 의미 분할 실험에서는 19개 분류 기준 mIoU 37.11을 기록했다. mIoU는 AI가 예측한 물체 영역이 실제 정답 영역과 얼마나 겹치는지를 나타내는 지표다.

제1저자인 방재훈 연구원은 “오픈어휘 3D 사물 인식 기술을 실제로 쓰려면 정확도뿐 아니라 속도와 메모리 효율을 함께 확보해야 한다”고 말했다.

주경돈 교수는 이번 기술이 자연어 지시를 이해하는 로봇, AR·VR 콘텐츠 제작, 디지털 트윈 기반 공간 관리 등에 활용될 수 있다고 밝혔다. 연구는 과학기술정보통신부와 정보통신기획평가원 등의 지원을 받아 수행됐다.