NVIDIA, 메가와트에서 토큰까지 AI 팩토리 생산성 극대화

AI 요약

실리콘밸리의 8월 저녁, Silicon Valley Power가 AI 팩토리에 수요 신호를 보내자 NVIDIA 파트너 Emerald AI의 전력망 오케스트레이션 플랫폼 Conductor가 미리 정해 둔 워크로드 우선순위에 따라 자동으로 조정해 우선순위가 높은 추론은 유지하면서 전체 전력 소비를 4메가와트에서 3메가와트로 낮췄습니다. Silicon Valley Power는 이후 그 AI 팩토리에 200건이 넘는 수요 신호를 보냈고 매번 작동했습니다. AI Infra Summit에서 NVIDIA는 DSX(예: DSX MaxLPS, DSX Flex)를 AI 팩토리의 전력 제약을 해결하는 플랫폼으로 제시했으며 Lambda의 검증 결과 DSX MaxLPS는 고정된 전력 예산에서도 토큰 처리량을 24% 더 끌어올렸다고 발표했습니다.