KETI, 구글 T5 기반 KE-T5 모델 공개
한국어와 영어 처리 모두 활용 가능
AI 소수 학습 지원해 효율성 높여


한국전자기술연구원(KETI)은 28일, 첨단 언어처리 모델, ‘KE-T5’를 공개했다. KE-T5는 구글의 언어모델 알고리즘인 T5(Text-to-Text-Transformer)를 기반으로 구축한, 한국어와 영어처리에 모두 활용 가능한 자기 지도 학습 방식(Self-supervised learning)의 이중 언어처리 모델이다

KE-T5는 최초의 한국어 데이터 중심 T5 계열 모델이자, 언어의 의미 인식 특성과 표현 특성을 모두 포함하고 있는 범용 언어모델이다. 소량의 학습데이터로 학습모델을 구축하는 AI 소수 학습(Few-shot learning)을 지원하면서, 다양한 언어처리에서 높은 성능을 보이기 때문에 구축 비용 대비 활용성이 높다.

한국어와 영어의 동시 처리가 가능하며, 문서 요약, 영한 및 한영 번역, 대화 등의 언어이해는 물론, 표현의 연계학습이 필요한 고난도의 언어처리에도 적합하다.

KETI는 텍스트의 종류와 학습 규모에 따라 16종의 모델을 깃허브에 무상으로 배포하여, 개발자가 개발환경과 엔진 특성에 따라 선택하여 활용할 수 있도록 하였다. 또한 바로 활용 가능한 24종의 한영 요약, 번역 모델들도 함께 공개했다. 아파치(Apache) 2.0 라이선스에 따라 자유롭게 사용 및 배포할 수 있다.

이번 기술은 과기정통부, 정보통신기획평가원(IITP), 정보통신산업진흥원(NIPA) 지원의 ‘자기 지도 학습에 의한 시각적 상식으로 영상에서 보이지 않는 부분을 복원하는 기술’(2021-0-00537), ‘정서적 안정을 위한 인공지능 기반 공감 서비스 기술 개발’(S0316-21-1002), ‘비정형 텍스트를 학습하여 쟁점별 사실과 논리적 근거 추론이 가능한 인공지능 원천기술’ (2021-0-00354) 과제를 통해 개발됐다.