“토큰 많이 쓴다고 일 잘하는 건 아니다”

AI 요약

중국은 최근 토큰 명칭을 츠위안으로 변경하면서 토큰경제를 주도하겠다고 밝힌 가운데, 생성형 인공지능에서 문장은 작은 조각 토큰으로 분해되며 오픈에이아이의 토크나이저는 예로 토큰이 디지털 월세가 되고 있다를 GPT5 기준 토큰 11개로 계산한다고 설명합니다. 미시간대·스탠포드 등 공동연구팀의 논문 인공지능 에이전트는 당신의 돈을 어떻게 쓰는가(arXiv·4월29일 게재)는 인공지능이 같은 작업이라도 총 토큰 수가 최대 30배까지 달라질 수 있고 정확도는 토큰 사용량이 중간일 때 가장 높으며 모델이 과제 불가능을 인식하고 일찍 멈추는 메커니즘이 부족해 비효율적 반복 행동을 할 수 있다고 지적합니다. 이 때문에 인공지능 사용료 책정은 간단하지 않으나 기술 발전에 따라 토큰 효율은 개선될 수 있고 구글의 제미나이 3 플래시는 토큰 사용을 대폭 줄이면서도 우수한 성능을 보이는 것으로 평가된다고 기사에 전합니다.