클라크 델 부회장 “AI 변화 과소평가했다…3년 예상한 일이 1년 만에”

AI 요약

델 테크놀로지스 부회장 제프 클라크는 AI 변화 속도를 과소평가했다며 3년 걸릴 것으로 예상한 일이 12개월 만에 일어났고, 모델 가격은 약 80% 하락했지만 토큰 소비량은 10배, 추론 기반 사용량은 320배 증가해 작년에만 전 세계적으로 100조개 토큰이 소비되고 AI 컴퓨팅의 3분의 2가 추론에 사용됐다고 밝혔습니다. 에이전트 AI 확산으로 기업의 비용 구조가 인건비에서 토큰으로 이동하고 델 내부에서도 엔지니어들이 한달치 토큰을 몇 시간 만에 소진하는 등 토큰 사용량이 폭증해 생성형 AI 소프트웨어 지출은 1년 만에 3배로 늘어 370억달러를 돌파했습니다. 델은 토큰 비용 문제 해결을 위해 AI 친화적 데이터 기반 구축, 학습·추론을 지원하는 분산 AI 인프라, 보안 자율 시스템, API 기반 통합 스택, 워크로드별 토큰 배분 최적화 등 다섯 가지 원칙과 어떤 토큰을 어디서 처리할지 결정하는 토큰 라우팅을 핵심 인프라 의사결정으로 제시했습니다.