낮은 사양에서 하드웨어 교체 없이 고성능 LLM을 구현할 수 있는 서비스가 등장해 LLM을 이용하려는 기업들의 비용 효율성과 기술 경쟁력 확보에 유리할 것으로 기대가 모아진다.

AI 최적화 및 경량화 기술 전문기업 노타(대표 채명수)는 25일 낮은 사양의 디바이스에서도 대규모 언어모델(LLM)을 안정적으로 구현할 수 있는 ‘LLM 최적화 서비스’를 공식 출시했다.

이 서비스는 기존 하드웨어를 그대로 활용하면서도 최신 LLM과 비전-언어모델(VLM)을 빠르게 추론할 수 있도록 설계돼, 기업의 인프라 투자 부담을 크게 줄일 수 있다는 점에서 주목받고 있다.

노타의 LLM 최적화 서비스는 디바이스 사양에 관계없이 높은 성능을 유지하면서도 빠른 추론 속도를 제공하는 것이 특징이다.

클라우드 환경뿐 아니라 온디바이스 환경에서도 최적화가 가능해, 가전제품이나 모빌리티 등 하드웨어 교체가 어려운 산업군에서도 최신 생성형 AI 기술을 적용할 수 있다.

특히 이 서비스는 △다양한 칩셋과의 호환성 △복잡한 파라미터를 가진 모델의 최적화 난이도 극복 △모델 경량화를 통한 메모리 및 연산 효율 향상 △디바이스 전력 소비 절감 △클라우드 운영비용 절감 등의 효과를 제공한다.

이를 통해 기업은 빠른 추론 속도와 높은 LLM 성능을 동시에 확보할 수 있다.

노타는 기존 하드웨어를 그대로 활용할 수 있다는 점에서 비용 효율성이 높고, 별도의 인프라 투자 없이도 최신 LLM을 적용할 수 있어 기술 경쟁력 확보에도 유리하다고 강조했다.

채명수 대표는 “이번 서비스는 노타가 다양한 AI 모델을 실제 하드웨어에 최적화해온 경험을 바탕으로 개발됐다”며 “고객사는 하드웨어 교체 없이도 최신 언어모델을 안정적으로 적용해 비용 부담을 줄이고, 향상된 사용자 경험을 제공할 수 있다”고 밝혔다.

노타는 서비스 출시를 기념해 홈페이지를 통해 무료 컨설팅 이벤트를 진행 중이다. LLM 최적화 서비스에 관심 있는 기업은 노타 공식 홈페이지를 통해 문의 및 신청이 가능하다.

한편 노타는 정부 주도의 ‘AI 국가대표(독자 AI 파운데이션 모델 개발 프로젝트)’ 정예팀으로 선정되며 국가적 차원에서 기술력을 인정받았다. 최근 증권신고서가 통과되며, 연내 코스닥 상장을 목표로 하고 있다.

이 서비스는 생성형 AI의 대중화와 산업 적용을 가속화하는 계기가 될 것으로 기대된다. LLM을 보다 효율적으로 활용하고자 하는 기업들에게 노타의 최적화 기술은 새로운 돌파구가 될 전망이다.