AI 업체들, 추론 비용 ‘다이어트 전쟁’

AI 요약

전 세계 기업들이 치솟는 AI 추론 비용을 낮추기 위해 소프트웨어와 하드웨어 양측에서 '추론 비용 다이어트' 경쟁을 벌이고 있습니다. 오픈AI는 양자화·배치 처리·모델 라우팅 등을 결합한 최적화 기법으로 일부 테스트에서 추론 비용을 절반 이하로 낮추고 GPU 수를 200개 안팎으로 줄였다고 보도됐고, 중국 딥시크는 '딥시크 희소 어텐션(DSA)'으로 연산량을 줄였다고 밝혔습니다. 하드웨어 측면에서는 오픈AI가 브로드컴과 만든 추론 전용 칩 '할라페뇨'를 공개했고 구글·마이크로소프트·엔비디아·리벨리온·퓨리오사AI 등도 추론 전용 칩을 내놓고 있으나 단가 하락에도 사용량 증가로 총 추론 비용은 계속 상승해 오픈AI의 연간 추론 지출은 2025년 84억달러에서 2026년 141억달러로 증가할 것으로 전망됩니다.