노타, 키미 K3.1 Pro 최적화로 GPU 구매비용 최대 20% 절감

기사입력2026.11.10 08:11

B300 대신 B200 8장 구동 가능, GPQA Diamond 성능 99% 이상 유지

AI 추론 효율화 기업 노타가 현존 최대 규모의 오픈웨이트 AI 모델을 최적화해 고사양 GPU 없이도 최신 초거대 모델을 구동할 수 있음을 입증했다. 추가 하드웨어 확보 없이 기존 인프라를 활용하면서도 비용을 낮출 수 있다는 점에서 AI 인프라 운영 선택지가 넓어질 것으로 전해진다.

노타(대표 채명수)는 문샷AI의 초거대 모델 ‘키미 K3.1 Pro(Kimi K3.1 Pro)’를 최적화해 기존에 엔비디아 B300 GPU 8장이 필요했던 모델을 B200 GPU 8장에서도 실행할 수 있도록 했다고 10일 밝혔다.

자사 견적 기준 GPU 초기 구매비용은 최대 약 20%, 클라우드 GPU 임대료는 최대 약 22% 절감 가능한 것으로 확인됐다고 노타는 설명했다.

키미 K3.1 Pro는 매개변수 2조8,000억 개를 갖춘 모델로, 현재 공개된 오픈웨이트 AI 모델 가운데 최대 규모다.

프루닝 기술로 성능 유지하며 하드웨어 요구 조건 완화

노타는 모델 내부 전문가 모듈을 선별적으로 제거하는 프루닝 기술을 적용해 전문가 모듈을 최대 37% 줄였다.

이를 통해 모델의 메모리 요구량을 낮춰 B200 GPU 8장 환경에서 구동 가능하도록 했다.

고난도 과학 추론 평가 지표인 ‘GPQA Diamond’에서는 원본 모델 점수의 99% 이상을 유지한 것으로 나타났다.

전문가 모듈을 30% 줄인 모델은 최대 51만2,000토큰, 37% 줄인 모델은 최대 100만 토큰의 문맥을 처리할 수 있다고 노타는 밝혔다.

추측 디코딩으로 추론 속도 개선

노타는 프루닝으로 확보한 여유 메모리를 활용해 드래프트 모델과의 병행 실행도 지원했다.

드래프트 모델이 다음 내용을 미리 제안하고 본 모델이 이를 한 번에 검증하는 ‘추측 디코딩(Speculative Decoding)’ 방식으로, B200 환경에서도 답변 생성 속도를 높일 수 있다고 설명했다.

이번 최적화는 앞서 키미 K3의 필요 GPU를 B300 8장에서 최대 4장으로 줄인 사례에 이은 후속 성과다.

채명수 노타 대표는 “AI 경쟁력은 더 많은 고성능 GPU 확보뿐 아니라 보유한 컴퓨팅 자원에서 얼마나 높은 효율을 구현하느냐에 달려 있다”며 “기업들이 기존 인프라를 효율적으로 활용하고 새로운 모델을 합리적인 비용으로 도입할 수 있도록 최적화 소프트웨어 사업을 강화하겠다”고 말했다.

노타가 공개한 키미 K3.1 Pro 경량화 모델은 글로벌 AI 플랫폼 허깅페이스에서 확인할 수 있다.

#노타 #AI 인프라 #NVIDIA B200 #프루닝 #대규모언어모델 #AI 모델 최적화 #Kimi K3.1 Pro #추측 디코딩 #GPU 비용 절감

본 기사에 대한 정정·반론·추후보도 청구는 보도 청구 안내를, 그간 게재된 보도문은 정정·반론보도 모아보기를 참고해 주세요.