‘토큰맥싱’에 비용 폭탄 맞은 실리콘밸리… “이제는 토성비 따진다”

AI 요약

미 실리콘밸리에서는 개인의 AI 토큰 사용량을 극대화하는 ‘토큰맥싱’이 확산하며 오픈AI의 한 엔지니어가 일주일에 2100억 개 토큰을 사용하고 앤스로픽의 한 사용자가 한 달에 15만 달러어치 토큰을 소비하는 등 막대한 비용이 발생하고 있습니다. 이에 기업들은 비용 통제 차원에서 ‘토성비’를 중시하며 Zapier와 쿠모 AI처럼 직원별 토큰 사용량을 실시간 추적하고 삼성SDS·LG CNS·SK C&C 등은 고객사 맞춤형 경량화 인프라에 주력하는 한편 반도체 업계는 토큰 비용 최적화를 위한 추론 칩 개발과 엔비디아의 그록 인수 등 경쟁에 나서고 있습니다. IDC는 2029년까지 운영되는 에이전틱 AI가 10억 개를 넘어설 것으로 전망하고 토큰 전송 비용이 연간 680억 달러(약 101조 원)를 넘어설 것으로 예측해 토큰 효율화 전략의 필요성이 커지고 있다고 보도했습니다.