한국전자통신연구원(ETRI)이 멀티모달 인공지능(AI)이 새로운 지식을 반복적으로 학습해도 기존 정보를 잃지 않도록 하는 기술을 개발했다. 이미지와 텍스트를 함께 다루는 AI에서 자주 나타나는 ‘치명적 망각’ 문제를 줄이면서, 복합 질문에 대한 답변 정확도도 높였다는 설명이다.

ETRI는 언어지능연구실 임수종 실장 연구팀이 포항공과대학교, 성균관대학교와 공동 개발한 ‘연속·복합 지식 편집 기술(MemEIC)’이 지난해 말 미국 샌디에이고에서 열린 인공지능 학술대회 ‘NeurIPS 2025’에 채택돼 발표됐다고 밝혔다.

최근 생성형 AI는 사진과 문장을 함께 이해하는 멀티모달 방식으로 빠르게 확산하고 있지만, 새로운 정보를 반영하는 과정에서 이전에 학습한 지식을 함께 잃는 한계가 지적돼 왔다. 특히 시각 정보와 언어 정보를 동시에 수정할 경우 서로 다른 지식이 뒤섞이며, 질문 맥락에 맞지 않는 답을 내놓는 현상이 나타났다.

연구진은 기존처럼 AI 내부 핵심 파라미터를 직접 바꾸는 대신, 새 정보를 외부 메모리에 저장하는 방식을 택했다. 이미지 관련 정보는 ‘시각 어댑터’, 텍스트 관련 정보는 ‘언어 어댑터’에 각각 분리해 저장하고, 복합 질문이 들어오면 ‘지식 커넥터’가 두 정보를 연결해 답변을 생성하는 구조다. 기존 모델 자체를 크게 건드리지 않아 안정성을 유지하면서도 필요한 지식을 추가할 수 있도록 설계했다.

예를 들어 특정 디저트 이미지와 해당 음식의 인기 지역 정보를 순차적으로 학습시킨 뒤 연관 질문을 던졌을 때, 기존 모델은 이미지와 텍스트 정보를 제대로 묶지 못해 다른 음식이나 지역을 답하는 경우가 있었다. 반면 MemEIC을 적용한 모델은 시각 정보와 언어 정보를 연결해 질문 의도에 맞는 답을 내놓았다고 ETRI는 설명했다.

연구진은 1,278개 항목으로 구성한 복합 지식 편집 벤치마크를 기반으로 수백 건의 지식을 순차적으로 편집하는 실험을 진행했다. 그 결과 MemEIC은 복합 질문 정확도 약 70%를 기록했다. 기존 기술의 36~52%와 비교하면 개선 폭이 컸고, 새 지식을 추가한 뒤에도 기존 질문에 대한 응답이 흔들리지 않는 안정성도 확인됐다.

이번 연구는 AI가 계속 바뀌는 정보를 반영하면서도 기존 지식을 유지해야 하는 과제를 겨냥했다는 점에서 의미가 있다. ETRI는 정책·법령, 제품 정보, 산업 데이터처럼 지속적인 갱신이 필요한 서비스에 적용 가능성이 있다고 보고 있다. 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)의 차세대 생성AI 기술개발사업 지원으로 수행됐다.