‘AI 추론 최적화’ 키워드 기사 1건
노타, AMD GPU·NPU 이기종 추론 최적화로 답변 완료 시간 52% 단축
AI 모델 경량화 기업 노타가 AMD 라이젠 AI Max+ 395 환경에서 GPU와 NPU를 결합한 이기종 추론 최적화 기술을 선보였다. 프리필 단계는 NPU, 디코드 단계는 GPU가 담당하도록 역할을 분리하고 메모리 공유를 최적화한 결과, 답변 완료 시간을 최대 52…
2026.11.09 by 배종인 기자
AI 모델 경량화 기업 노타가 AMD 라이젠 AI Max+ 395 환경에서 GPU와 NPU를 결합한 이기종 추론 최적화 기술을 선보였다. 프리필 단계는 NPU, 디코드 단계는 GPU가 담당하도록 역할을 분리하고 메모리 공유를 최적화한 결과, 답변 완료 시간을 최대 52…
2026.11.09 by 배종인 기자