
하드웨어 보안 특화 TPU 8tx·100만 토큰 컨텍스트 처리 TPU 8i 맥스 추가
구글 클라우드가 하드웨어 수준의 보안을 갖춘 TPU 8tx와 대용량 컨텍스트 처리에 특화된 TPU 8i 맥스(Max)를 공개하며 8세대 TPU 시스템 구성을 완성했다. 지난 4월 TPU 8t·TPU 8i를 선보인 데 이어 한 해에 4종의 TPU 시스템을 내놓은 것은 이번이 처음이다.
TPU 8tx는 컨피덴셜 컴퓨팅(Confidential Computing)을 지원해 금융·의료 등 규제 산업 기업과 정부 기관이 민감한 데이터를 처리하면서 자율 에이전트를 운영할 수 있도록 설계됐다.
TPU 8i 맥스는 동일 칩 2개를 단일 패키지로 결합해 메모리 대역폭 병목을 해소하고 100만 토큰 규모의 컨텍스트 처리를 지원한다고 회사 측은 밝혔다.
아민 바닷(Amin Vahdat) 구글 AI 및 인프라 부문 수석부사장 겸 최고기술자는 “컴퓨팅의 기준이 사람에서 에이전트로 넘어가고 있다”며 “기업들은 AI 모델의 방대한 컨텍스트 윈도우(context window) 전체를 추론할 수 있는 가속기를 찾고 있다”고 설명했다.
컨피덴셜 추론과 소규모 학습에 최적화된 TPU 8tx
TPU 8tx는 TPU 8t와 동일한 칩에 5세대 AMD EPYC CPU 호스트를 결합해 보안 기능을 하드웨어 계층에 직접 내재화했다.
일반적으로 데이터는 연산 처리 중 메모리에서 복호화되는데, TPU 8tx는 이 구간에서도 민감한 데이터와 모델 가중치를 보호·격리한다고 회사 측은 전했다.
실시간 추론을 위해 개발된 저지연 보드플라이(Boardfly) 네트워크를 적용해 TPU 8t 대비 지연 시간을 최대 절반까지 줄일 수 있으며, 성능 저하는 거의 없다고 밝혔다.
기업은 별도 클러스터 없이 자체 데이터로 미세 조정(fine-tune), 모델 증류, 강화학습 기반 에이전트 학습을 하나의 시스템에서 수행할 수 있다.
메모리 장벽 해소와 랙당 연산 밀도 향상
TPU 8i 맥스는 기존 TPU 8i 대비 연산 성능·SRAM 용량·HBM 대역폭을 각각 2배 확장해 대규모 에이전트 워크로드 처리 시 발생하는 메모리 병목을 방지한다고 구글 클라우드는 설명했다.
기존 서버 랙 공간에 2배의 칩을 탑재할 수 있어 데이터센터의 단위 면적당·와트당 컴퓨팅 밀도를 높일 수 있다고 덧붙였다.
이로써 구글 클라우드의 8세대 TPU 시스템 4종 구성은 △대규모 모델 학습용 TPU 8t △저지연 추론 특화 TPU 8i △컨피덴셜 컴퓨팅용 TPU 8tx △대용량 컨텍스트 처리 및 고밀도 연산용 TPU 8i 맥스로 완성됐다.
구글은 현재 프런티어 AI 연구소, 금융·리테일 기업, 대학 등 100여 곳에 TPU를 직접 구축하는 형태로 서비스를 확대하고 있다.
본 기사에 대한 정정·반론·추후보도 청구는 보도 청구 안내를, 그간 게재된 보도문은 정정·반론보도 모아보기를 참고해 주세요.















