AI Infra Summit: NVIDIA Vera Rubin과 DSX 플랫폼, AI 팩토리 와트당 토큰 최적화로 에너지 효율 혁신

AI 요약

NVIDIA 하이퍼스케일 및 고성능 컴퓨팅 부문 부사장 Ian Buck이 AI Infra Summit에서 AI 팩토리 효율성을 주제로 발표하며 Amazon의 Annapurna Labs와 NVHBM 협력, d-Matrix의 NVLink Fusion 통합(Ver a CPU와 d-Matrix Raptor XPU 결합), Pinterest의 Blackwell 플랫폼과 Dynamo 도입 등 새로운 협력과 성과를 공개했습니다. Emerald AI와 Silicon Valley Power는 NVIDIA DSX Flex와 Emerald AI의 Conductor 소프트웨어를 활용한 유연 부하 연계 프로그램을 현장에서 시연해 전력망 신호에 응답하면서 우선순위가 낮은 작업의 전력을 자동으로 낮췄다가 복구하는 역량을 입증했습니다. Lambda는 NVIDIA DSX MaxLPS를 Blackwell 서버에서 검증해 동일 전력 예산 내에서 노드 수를 16개에서 19개로 늘려 클러스터 토큰 처리량을 24%(초당 약 400만 개에서 500만 개) 높이고 와트당 성능을 23% 개선했으며, NVIDIA는 Vera Rubin, Dynamo, NeMo, NVLink, Spectrum-X, ConnectX SuperNIC, BlueField DPU 등을 포함한 풀스택 플랫폼으로 메가와트당 토큰을 최대 1.4배까지 늘릴 수 있다고 제시했습니다.