AI 추론칩 부상에 엔비디아 독주 흔들리나

AI 요약

네비우스 관계자는 그록(Groq)의 AI 추론용 칩이 특정 조건에서 엔비디아 최신 블랙웰 계열 GPU보다 비용 측면에서 최대 5배 저렴하고 처리 속도는 약 2배 빠를 수 있으며, 그록 칩은 초당 최대 800토큰을 처리하는 반면 엔비디아 칩은 약 450토큰 수준이라고 설명했습니다. 네비우스는 AI 인프라가 시간당 GPU 사용료 중심에서 토큰당 비용 기준으로 빠르게 전환되고 있고, 온디맨드 기준 엔비디아 H100은 시간당 약 2.95달러, H200은 3.50달러, B200은 4.90~6.50달러인 반면 그록은 100만 토큰당 0.05~0.10달러, 엔비디아는 약 0.25달러 수준이라고 밝혔습니다. 다만 이 비교는 특정 추론 작업 기준이며 엔비디아 GPU는 대규모 모델 학습과 다양한 워크로드를 처리하는 범용성이 있고 그록은 추론 특화라는 점과 기업용 AI 작업의 90~95%가 추론 단계에서 발생한다는 배경이 제시되었습니다.