이 기술은 로봇이 관측한 방·가구·물체의 위치, 재질, 상태 등을 ‘3차원 장면 그래프(3D Scene Graph)’ 형태로 저장하고, 환경을 직접 탐색하는 ‘환경 그라운딩(Environment Grounding)’과 저장된 기억에서 필요한 정보만 선택적으로 꺼내는 ‘메모리 그라운딩(Memory Grounding)’을 결합해 ‘무엇을 할지’는 물론 ‘무엇을 더 확인할지’까지 스스로 계획한다고 연구진은 설명했다.

이번 연구 결과는 자연어처리 분야 국제학술대회 ‘EMNLP 2026 Findings’에서 25일 발표됐다.

씬쿼리플래너는 3차원 장면 그래프를 통해 새로운 관측 정보가 들어올 때마다 기억을 갱신하고, 현재 작업에 필요한 속성과 위치관계만 골라 조회하는 방식으로 이 한계를 보완했다.

메타의 LLaMA 3.1과 알리바바의 Qwen 2.5 등 공개 모델에서 성공률이 각각 약 22.8%p, 24.0%p 향상됐으며, 오픈AI의 상용 모델 GPT-4o 기반 속성 복합작업에서도 17.2%p 개선됐다.

코드와 벤치마크는 공개해 후속 연구에 활용할 수 있도록 했으며, 향후 카메라·센서 기반의 실제 로봇 환경으로 기술을 확대할 계획이다.

GIST 김의환 교수는 “이번 연구는 3차원 장면 그래프를 단순 저장에 그치지 않고 에이전트가 필요한 정보를 스스로 질의해 꺼내 쓰는 능동적 메모리로 발전시켰다는 데 의미가 있다”고 말했다.