AI 추론 시대, 하이퍼스케일러 자체 칩 승부수 띄운다

AI 요약

AI 무게중심이 학습에서 추론으로 이동하면서 하이퍼스케일러들의 자체 칩 전략이 변화하고 있으며, 구글 클라우드는 자사의 첫 추론 전용 칩 TPU 8i를 공개했고 AWS는 자체 개발 CPU 그래비튼을 추론 수요에 대응하는 한편 학습 칩 트레이니엄 3의 추론 성능을 강조하면서 인퍼런시아 3에 대해서는 함구하고 있습니다. 메타는 차세대 AI 모델 개발을 위해 AWS의 저전력 그래비튼 CPU 코어 수천만 개를 수년간의 장기 계약으로 사용하기로 했고 이 계약은 수십억 달러 규모이며 메타는 특히 192코어의 그래비튼 5를 활용할 계획입니다. 구글은 TPU 8i에 SRAM을 384MB로 늘리고 칩 간 통신 경로를 16단계에서 7단계로 줄이며 집합 가속 엔진(CAE)을 탑재해 응답 지연 시간을 줄이고 전력 효율과 성능비를 개선했다고 소개했으며, 메타는 엔비디아 의존도와 수급 리스크를 줄이기 위해 구글 클라우드와 최대 100억 달러 규모 계약 및 AMD의 MI450 시리즈 등 맞춤형 장비 도입 계약을 체결했습니다.