AI 모델 경량화 및 최적화 기술 기업 노타가 ICML 2026의 ‘Resource-Adaptive Foundation Model Inference(AdaptFM)’ 워크샵에서 MoE(Mixture-of-Experts) 모델 양자화 관련 논문 2편을 발표한다.

노타는 오는 7월 6일부터 11일까지 서울 코엑스에서 열리는 ICML 2026 기간 중 AdaptFM 워크샵에서 DREAM-MoE와 SRA-MoE 연구를 발표할 예정이다. ICML은 머신러닝 분야 주요 국제 학회 중 하나이며, AdaptFM은 제한된 컴퓨팅 자원에서 파운데이션 모델을 효율적으로 실행하기 위한 추론·압축·최적화 기술을 다루는 워크샵이다.

MoE는 여러 전문가 모델 가운데 필요한 일부를 선택해 사용하는 AI 모델 구조다. 모델 전체를 매번 모두 활용하지 않아도 돼 연산 효율을 높일 수 있지만, 전문가 선택 과정이 포함돼 일반적인 모델과 다른 최적화 방식이 필요하다.

노타에 따르면 DREAM-MoE는 모델을 여러 구간으로 나눠 양자화할 때 발생할 수 있는 전문가 선택 변화를 줄이는 방법을 제안한다. 양자화는 AI 모델의 수치 표현을 낮은 정밀도로 변환해 메모리 사용량과 연산 부담을 줄이는 기술이다.

SRA-MoE는 모델 결과에 더 큰 영향을 주는 입력을 선별해 우선적으로 보호하는 방식이다. 모든 입력을 동일하게 처리하기보다 중요한 입력에서 전문가 선택이 크게 달라지지 않도록 설계해, 제한된 자원에서도 모델 품질을 유지하는 데 초점을 맞췄다.

회사 측은 두 연구가 기존 MoE 특화 양자화 기법보다 높은 성능을 보였다고 밝혔다. 이번 연구는 대규모 AI 모델 운영에 필요한 메모리와 연산 자원을 줄이면서 품질 저하를 완화하는 데 활용될 수 있다.

노타는 앞서 엔비디아 네모트론 해커톤에서 데이터 기반 MoE 양자화 기법으로 트랙 우승과 종합우승을 차지한 바 있다. 회사는 업스테이지 컨소시엄의 독자 파운데이션 모델 과제에서도 Solar MoE 등 대규모 모델 최적화 연구를 추진하고 있다고 밝혔다.

한편 노타는 ICML 2026 기간 중 서울 코엑스에서 ‘Nota AI - Korea Efficient Days’를 열고, 관련 연구와 적용 사례를 소개할 예정이다.