노타, AMD GPU·NPU 이기종 추론 최적화로 답변 완료 시간 52% 단축

기사입력2026.11.09 09:03

AMD 라이젠 AI Max+ 395 환경서 토큰당 에너지 소비 31% 절감 성과 검증

AI 모델 경량화·최적화 기업 노타(Nota AI)가 GPU와 NPU를 결합한 이기종 컴퓨팅 환경에서 AI 추론 성능과 에너지 효율을 동시에 개선하는 기술 성과를 공개했다. 단순한 모델 경량화를 넘어 런타임·GPU 커널 등 추론 실행 환경 전반으로 최적화 범위를 확대하고 있다는 점에서 AI PC·로보틱스 등 다양한 엣지 디바이스 분야로의 적용 가능성이 주목된다.

노타는 9일 ‘AMD 어드밴싱 AI 월드 투어 서울 2026(AMD Advancing AI World Tour Seoul 2026)’에서 AMD 라이젠 AI(AMD Ryzen AI) Max+ 395 기반 GPU·NPU 이기종 추론 최적화 기술과 자체 테스트 결과를 발표했다.

테스트 결과에 따르면 기존 AMD GPU·NPU 하이브리드 실행 환경 대비 전체 답변 완료 시간을 최대 52% 단축하고, 토큰당 에너지 소비를 31% 절감하는 성과가 검증됐다고 노타는 밝혔다.

GPU·NPU 역할 분리 및 메모리 공유 최적화

노타는 AI 모델의 추론 과정을 역할별로 분리해 효율을 높이는 방식을 적용했다.

입력 정보를 처리하는 프리필(Prefill) 단계는 NPU가, 답변을 생성하는 디코드(Decode) 단계는 GPU가 각각 담당하도록 구성했다.

두 연산 장치가 동일한 모델 가중치를 공유하도록 최적화해 중복 메모리 사용을 줄이고 실행 효율을 높였다.

큐웬(Qwen3-8B) 모델 기준으로 답변 완료 시간은 28~52% 단축됐고, 토큰당 생성 시간도 41~46% 감소했다.

AMD 라이젠 AI 환경에서 라마(Llama)·큐웬(Qwen)·파이(Phi)·미스트랄(Mistral) 등 다양한 언어모델을 대상으로 검증한 결과, NPU 단독 실행 대비 답변 생성 속도는 2.5~3.8배 향상됐고 메모리 사용량은 11~32% 감소했다고 노타는 설명했다.

AI 에이전트 기반 자동화 최적화 및 사업 확대

노타는 이번 행사에서 AI 모델 최적화 플랫폼 ‘넷츠프레소’에 AI 에이전트 기반 자동화 프로세스를 적용한 결과도 함께 공개했다.

모델과 하드웨어 특성을 AI 에이전트가 분석해 최적화 전략을 수립하고, 실제 장치에서의 성능 검증과 개선 과정까지 자동화한 것이 특징이라고 밝혔다.

노타는 삼성전자, Arm, 퓨리오사AI, 모빌린트 등 국내외 반도체 기업과 협력을 이어 왔으며, 지난 7월에는 AMD 글로벌 로보틱스 파트너 네트워크에 아시아·태평양 및 일본(APJ) 지역 주요 초기 파트너사 중 하나로 합류했다.

이번 성과를 계기로 AI PC·로보틱스 분야에서 신규 고객 확보와 플랫폼 라이선스 사업 확대를 추진할 계획이라고 노타는 전했다.

김태호 노타 최고기술책임자(CTO)는 “GPU와 NPU 등 다양한 컴퓨팅 자원을 얼마나 효율적으로 활용하느냐가 실제 서비스의 성능과 운영 효율을 결정한다”며 “글로벌 반도체 생태계와의 협력을 기반으로 AI 실행 및 운영 최적화 기술의 적용 범위를 넓혀 나가겠다”고 말했다.

#AI PC #로보틱스 #에너지 효율 #이기종 컴퓨팅 #Nota AI #Netspresso #AMD Ryzen AI Max+ 395 #GPU NPU #AI 추론 최적화

본 기사에 대한 정정·반론·추후보도 청구는 보도 청구 안내를, 그간 게재된 보도문은 정정·반론보도 모아보기를 참고해 주세요.