HBM 넘어 랙·포드 단위 데이터 병목 해결 제시

AI 반도체 경쟁의 무게중심이 개별 칩 성능에서 시스템 전체 최적화로 이동하는 가운데, SK하이닉스가 차세대 AI 인프라 핵심 기술인 CPO(Co-Packaged Optics) 로드맵을 제시했다.

SK하이닉스는 글로벌 연구진과 공동으로 AI 및 고성능 컴퓨팅(HPC)을 위한 광 인터커넥트 기술인 CPO의 발전 방향을 담은 논문을 국제 학술지 네이처 일렉트로닉스(Nature Electronics)에 게재했다고 최근 밝혔다.

이번 연구에는 SK하이닉스 AI 인프라 부문의 홍승훈 팀장과 미국 버지니아대학교 이규상 교수가 교신저자로 참여했으며, 일리노이대학교 어바나-샴페인(UIUC), MIT, 난양공과대학교(NTU), 연세대학교 연구진이 공동 참여했다.

논문은 생성형 AI 확산으로 수천 개의 GPU와 HBM이 연결된 초대형 AI 클러스터가 등장하면서 시스템 간 데이터 이동이 새로운 성능 제한 요소로 부상했다고 분석했다.

연산 성능은 빠르게 향상되는 반면 시스템 간 데이터 전송 대역폭 증가는 상대적으로 제한되면서 이른바 ‘대역폭 장벽(Bandwidth Wall)’ 현상이 심화되고 있다는 설명이다.

기존 구리 기반 전기 인터커넥트는 거리 증가에 따라 신호 손실과 전력 소모가 커지는 문제가 있다. 연구진은 이를 해결하기 위한 방안으로 광 송수신기를 프로세서와 동일 패키지에 집적하는 CPO 기술을 제시했다.

논문은 장기적으로 광 연결 기술을 메모리 인터페이스까지 확대하는 ‘옵틱스 중심(Optics-Centric) 아키텍처’ 개념도 제안했다.

광 인터포저를 통해 프로세서와 메모리를 직접 연결하면 여러 AI 가속기가 대규모 메모리 자원을 공유할 수 있어 AI 모델 규모 확대와 데이터 이동 효율 개선에 도움이 될 수 있다는 것이다.

연구진은 차세대 AI 인프라 구현을 위해 노드당 100Tb/s 이상의 대역폭, 1pJ/bit 미만의 에너지 소비, 10ns 미만의 칩 간 지연시간 등을 주요 기술 목표로 제시했다.

SK하이닉스는 이번 연구가 HBM과 같은 개별 메모리 기술을 넘어 메모리, 패키징, 광 인터커넥트 기술을 통합한 시스템 수준의 AI 인프라 발전 방향을 제시한 데 의미가 있다고 설명했다.