국산 NPU와 대형 AI 모델, AI 최적화 기술이 결합해 실제 서비스 수준의 성능을 구현할 수 있다는 가능성이 국내에서 처음 확인됐다. AI 모델 경량화·최적화 기업 노타(대표 채명수)가 퓨리오사AI의 데이터센터용 NPU에서 LG AI연구원의 K-엑사원(EXAONE) 236B 최적화에 성공하며, 국내 AI 생태계 안에서의 고성능 대형 언어 모델(LLM) 운영 가능성을 제시했다.

노타는 30일 약 2,360억 개 파라미터 규모의 K-엑사원 236B를 퓨리오사AI NPU 환경에 맞게 최적화했다고 밝혔다.

모델 전체를 재조정하는 방식 대신 성능 저하가 발생할 수 있는 구간을 정밀 분석해 필요한 부분에만 선별적으로 최적화를 적용하는 방식을 택했다.

그 결과 모델 크기를 약 71% 줄여 메모리 부담을 낮추면서도 주요 벤치마크에서 원본 수준의 정확도를 유지하는 데 성공했다고 회사 측은 설명했다.

K-엑사원 236B는 여러 전문가 모델을 선택적으로 활용하는 MoE(Mixture of Experts) 구조를 채택한 대형 AI 모델이다.

MoE 구조는 모델 효율을 높이는 데 유리하지만, 최적화 과정에서 각 전문가 모델이 안정적으로 작동하도록 하는 정교한 기술이 필요하다.

특히 양자화 과정에서 발생하는 미세한 오차가 긴 추론 과정을 거치며 누적될 경우 최종 답변 정확도에 영향을 줄 수 있다.

노타는 이 같은 구조적 난점을 극복해 △과학 추론(GPQA) 79.80점 △지시 이해(IFBench) 68.98점 △수학 문제 해결(AIME25) 88.57점을 기록했다.

원본 모델 성능은 각각 79.1점, 67.3점, 92.8점으로, 3개 항목 단순 평균 기준 원본 대비 약 99.2%의 정확도를 유지한 것으로 나타났다.

글로벌 AI 산업에서 자국 내 AI 모델과 컴퓨팅 인프라를 확보하려는 이른바 ‘소버린 AI’ 흐름이 부상하는 가운데, 이번 성과는 국산 AI 반도체·국내 AI 모델·최적화 소프트웨어의 연계 가능성을 보여주는 사례로 제시됐다.

채명수 노타 대표는 “모델, 반도체, 최적화 소프트웨어가 하나의 실행 가능한 AI 인프라로 연결되는 것이 중요하다”며 “이번 성과는 퓨리오사AI의 NPU, LG의 K-엑사원, 노타의 최적화 기술이 결합해 대형 AI 모델의 실제 운영 가능성을 확인한 사례”라고 말했다.