AI 모델 최적화 전문기업 노타가 업스테이지의 대규모 언어모델(LLM) ‘솔라 오픈2(Solar Open 2)’ 전용 경량화 모델을 공개했다. 대규모 AI 모델 운영에 필요한 인프라 부담을 낮춰 기업의 AI 전환(AX) 비용 효율을 높이는 데 초점을 맞춘 기술이다.

노타는 27일 업스테이지와 공동 참여 중인 정부 독자 AI 파운데이션 모델 프로젝트의 2차 성과물로 ‘솔라 오픈2’ 전용 경량화 모델을 공개했다고 밝혔다.

최근 딥시크(DeepSeek), 문샷 AI(Moonshot AI) 등 고성능 오픈웨이트 AI 모델이 확산되면서 AI 경쟁력의 기준이 모델 성능뿐 아니라 실제 업무 활용성과 운영 비용 효율로 확대되고 있다. 노타는 이번 기술을 통해 기업이 대규모 AI 모델을 보다 적은 인프라 환경에서 운영할 수 있도록 지원하겠다는 전략이다.

솔라 오픈2는 총 2,500억 개 매개변수(Parameter)를 갖춘 대규모 언어모델로, 작업 수행 시 150억 개 수준의 매개변수만 활성화하는 전문가 혼합(MoE·Mixture of Experts) 구조를 채택하고 있다.

노타는 모델 최적화를 위해 △데이터 기반 MoE 양자화 △라우터 인지형 MoE 양자화 △비균일 전역 프루닝(Pruning) 기술을 적용했다고 밝혔다.

데이터 기반 MoE 양자화에는 ‘PASCAL-MoE’를 활용해 모델 가중치를 4비트(INT4·NVFP4) 형식으로 변환했으며, 양자화 이후에도 전문가 선택 과정이 안정적으로 유지되도록 자체 알고리즘을 적용했다. 또한 중요도가 낮은 전문가 모듈을 선택적으로 제거하는 비균일 전역 프루닝 기술을 적용해 모델 크기를 줄였다.

노타에 따르면 최적화 결과 솔라 오픈2의 가중치 메모리는 기존 500.6GB에서 117.8GB로 감소했다. 이는 약 76.5% 수준의 경량화 효과에 해당한다.

회사는 메모리 용량 기준으로 엔비디아 H100 GPU 8장이 필요했던 원본 모델을 H100 GPU 2장 환경에서도 운영할 수 있도록 최적화했다고 설명했다.

또한 모델 용량을 줄이는 과정에서도 솔라 오픈2의 주요 기능인 툴 호출(Tool Calling) 성능을 유지했다고 밝혔다.

김태호 노타 최고기술책임자(CTO)는 “대규모 MoE 모델을 기업이 실제 도입 가능한 형태로 최적화했다는 데 의미가 있다”며 “기업의 인프라 환경과 예산에 맞춰 에이전트 AI를 도입할 수 있도록 경량화 기술을 지속적으로 고도화할 계획”이라고 말했다.

노타는 이번에 공개한 솔라 오픈2 전용 경량화 모델을 글로벌 AI 플랫폼 허깅페이스(Hugging Face)를 통해 공개했다.