ETRI Develops 'Trinity' Robot AI Evaluation Benchmark Considering Human Characteristics

This page was machine-translated and may differ from the original. View original

Published2026.11.13 10:33

151가지 사용자 조건·95종 물체로 맞춤형 행동 적합성까지 검증

로봇 AI가 주어진 임무를 수행하는 능력 외에 서비스 대상자의 개인적 특성에 맞게 행동하는지까지 평가할 수 있는 기술이 국내 연구진에 의해 개발됐다. 가정·돌봄·서비스 로봇 등 인간 중심 AI의 성능 검증에 활용될 것으로 기대된다.

한국전자통신연구원(ETRI)은 13일 사람, AI 에이전트(Agent), 환경을 종합적으로 고려해 로봇의 작업계획 능력을 평가하는 벤치마크 ‘트리니티(Trinity)’를 개발했다고 밝혔다.

이번 연구 결과는 자연어처리 분야 국제학술대회 ‘EMNLP 2026 Findings’에서 지난달 발표됐다.

사용자 맞춤형 작업계획 평가 개념 도입

기존 로봇 AI 평가는 주변 환경 인식 정확도와 임무 수행 성공률 측정에 집중됐다.

같은 명령이라도 사용자 특성에 따라 적절한 행동이 달라질 수 있다는 점은 충분히 반영되지 않았다.

예를 들어 “먹을 것을 가져다줘”라는 동일한 요청에도 음식 알레르기가 있는 사용자와 채식주의자에게는 서로 다른 음식을 제공해야 한다.

ETRI 연구진은 이를 해결하기 위해 ‘사용자 특성을 고려한 작업계획(PHA)’이라는 평가 개념을 제시했다.

트리니티는 식습관·알레르기·종교적 식이조건·취미 등을 조합한 151가지 사용자 조건과 실제 가정과 유사한 가상 환경, 그리고 사용자 특성과 관련된 물체 95종으로 구성됐다.

로봇이 여러 물체 가운데 사용자에게 적합한 대상을 선택하는 능력까지 평가할 수 있다고 연구진은 설명했다.

임무 성공 여부·AI 판단 오류 원인 분석

트리니티의 가장 큰 특징은 사람과 환경에 대한 이해를 하나의 작업 과정에서 동시에 평가한다는 점이다.

로봇이 물체를 정확히 찾아 옮기더라도 사용자에게 적절하지 않은 물건을 선택했다면 임무 성공으로 인정하지 않는다.

실제 실험에서 AI가 물체 위치와 작업 방법을 정확히 파악했음에도 채식 사용자에게 적합하지 않은 음식을 선택하는 사례가 확인됐다.

트리니티는 임무 성공 여부 외에 AI 판단 오류의 원인도 구분해 분석한다.

△사용자 특성을 잘못 이해한 경우 △환경 탐색에 실패한 경우 △수행 불가능한 행동을 계획한 경우 등으로 나눠 평가할 수 있다.

대표적인 대형언어모델(LLM) 기반 AI 에이전트를 대상으로 한 평가에서는 환경 이해 능력과 사용자 요구를 행동에 반영하는 능력 사이에 차이가 있는 것으로 나타났다.

ETRI 김도형 소셜로보틱스연구실장은 “트리니티는 로봇의 행동이 서비스를 받는 사람에게도 적절한지를 함께 평가한다는 데 의미가 있다”며 “로봇이 사람마다 다른 특성과 요구를 이해하고 함께 생활할 수 있는 지능으로 발전하는 데 필요한 연구 기반이 될 것”이라고 말했다.

연구진은 트리니티의 코드와 데이터를 공개해 후속 연구에 활용할 수 있도록 했다.

향후 음식·음료 중심의 평가를 청소·정리·안전 등 다양한 생활 영역으로 확대하고, 시간에 따라 변화하는 사용자 요구까지 반영하도록 기술을 고도화할 계획이다.

이번 연구는 과학기술정보통신부가 지원하는 △‘자율행동체의 복합작업 자율 수행을 위한 임무 수행 절차 생성 기술 개발’ △‘스스로 불확실성을 자각하며 질문하면서 성장하는 에이전트 기술 개발’ △‘글로벌 TOP 전략연구단 지원사업’의 지원을 받아 수행됐다.

To request a correction, reply or follow-up report on this article, see how to file a request. Previously published statements are collected in corrections & replies.

배종인 Reporter

Related news