노타, 문샷AI ‘키미 K3’ 경량화…엔비디아 B300 GPU 8장→4장

기사입력2026.08.06 08:51

비균일 전문가 프루닝 기술로 2조8,000억 매개변수 MoE 모델 압축, 인프라 비용 절감 기대

엔비디아 B300 GPU 8장이 필요하던 초거대 AI 모델을 절반의 GPU로 구동할 수 있는 경량화 모델이 공개됐다. AI 모델 경량화·최적화 기술 기업 노타가 자체 개발한 프루닝 기술을 2조8,000억 매개변수 규모의 프론티어급 모델에 적용해 연산 인프라 요구사항을 대폭 낮춘 것이다.

노타는 6일 문샷AI의 오픈웨이트 AI 모델 ‘키미 K3(Kimi K3)’를 경량화한 모델 2종을 공개했다. 전문가 모듈을 각각 25%, 50% 줄인 두 가지 버전으로, 구동에 필요한 엔비디아 B300 GPU 수는 기존 8장에서 각각 6장·4장으로 감소한다고 밝혔다.

비균일 전문가 프루닝 기술 적용

키미 K3는 입력값에 따라 필요한 모듈만 선택 활성화하는 전문가 혼합(Mixture-of-Experts, MoE) 구조를 채택한 모델이다. 학습 단계에서 가중치와 활성값을 각각 4비트·8비트로 설계한 탓에 일반적인 양자화 방식으로는 추가 압축 여지가 제한적이었다.

노타는 이 문제를 ‘비균일 전문가 프루닝(Non-uniform Expert Pruning)’ 기술로 해결했다고 설명했다. 모델 층별 특성과 모듈 중요도를 분석해 기여도가 낮은 모듈만 선별 제거하되, 층마다 제거 비율을 달리 적용해 성능 저하를 최소화했다는 것이다.

자체 벤치마크 결과, 층별 동일 비율로 전문가를 제거하는 REAP(Router-weighted Expert Activation Pruning) 방식 대비 노타의 50% 경량화 모델이 대다수 벤치마크에서 높은 성능 보존율을 기록했다. 고난도 추론 평가 지표인 GPQA-Diamond와 지시 수행 능력 지표 IFEval 점수는 각각 2.52점·2.22점 앞선 것으로 나타났다.

허깅페이스 공개 및 추가 확장 계획

앞서 노타가 허깅페이스에 공개한 업스테이지 ‘솔라 오픈2’ 경량화 모델은 출시 2주 만에 누적 다운로드 6만8,000회를 넘어선 바 있다. 이번 키미 K3 경량화 모델도 동일한 플랫폼에서 확인할 수 있다.

김태호 노타 최고기술책임자(CTO)는 “솔라 오픈2에 이어 키미 K3까지 핵심 성능을 유지하면서 필요한 GPU를 최대 절반으로 줄였다”며 “다양한 프론티어급 AI 모델을 한정된 연산 자원에서도 효율적으로 활용할 수 있도록 기술 적용 범위를 확대하겠다”고 말했다.

#AI 모델 #모델 경량화 #MoE #프루닝 #Nota #Kimi K3 #GPU 효율 #비균일 전문가 프루닝 #인프라 최적화

본 기사에 대한 정정·반론·추후보도 청구는 보도 청구 안내를, 그간 게재된 보도문은 정정·반론보도 모아보기를 참고해 주세요.