Token consumption = amount of work done?···In the AI era, companies wrestle with ‘to-seong-bi’

AI 요약

토큰은 OpenAI의 ChatGPT, Google의 Gemini, Anthropic의 Claude 등 대형 언어모델이 자연어를 이해·처리·생성할 때 사용하는 기본 연산 단위로, Deloitte는 1월 말 보고서에서 AI를 예측 불가능한 토큰 기반 비용으로 운영되는 경제 시스템으로 봐야 한다고 밝혔고 Nvidia의 젠슨 황 CEO는 컴퓨트 즉 토큰 용량이 AI 데이터센터와 제조의 기반이 될 것이라고 예측했습니다. 올해 초 이후 추론 중심의 전환과 사용자 대신 작업을 수행하는 에이전트형 AI의 본격화로 토큰 소비가 기하급수적으로 증가했으며, 에이전트는 생성형 AI보다 최대 100만 배 많은 토큰을 사용할 수 있습니다. 실리콘밸리에서는 tokenmaxxing 문화가 형성돼 Meta, OpenAI, Salesforce 등에서 직원들의 토큰 사용량을 실시간으로 집계하는 대시보드를 도입해 사용량을 생산성 평가 지표로 활용하며 때로는 업무와 무관하게 경쟁적으로 토큰을 소비하는 현상이 나타나고 있습니다.