AI 반도체 전쟁 2막…GPU 성능보다 ‘추론비용’ 낮춰라

AI 요약

생성형 AI 시장에서 기준이 학습 속도에서 학습을 마친 모델을 저렴하게 운영하는 '추론비'로 바뀌었고, AI 에이전트의 등장으로 반복적이고 대규모의 추론 호출이 증가해 토큰 처리 비용이 핵심 경쟁 요소로 부각되고 있습니다. AMD는 6일 캐나다 AI 반도체 스타트업 탈라스(Taalas)를 인수하는 최종 계약을 체결했으며, 탈라스의 컴퓨팅·메모리 병목 해소 기술을 인스팅트 가속기 로드맵과 결합해 AI 추론의 성능과 비용 효율성을 높일 계획이라고 밝혔습니다. 오픈AI는 브로드컴과 공동 개발한 추론 맞춤칩 할라피뇨를 준비 중이고, 엔비디아는 베라 루빈으로 추론 토큰 비용을 최대 10분의 1로 낮출 수 있다고 주장하는 등 기업들은 GPU뿐 아니라 CPU·네트워크·스토리지·소프트웨어를 포함한 시스템 수준 최적화와 맞춤형 ASIC 도입, 앤트로픽의 멀티플랫폼 전략 등으로 대응하고 있습니다.