[송하주의 AI 톡] AI시대의 `토큰` 경제

AI 요약

대규모언어모델(LLM)에서 토큰은 텍스트를 이해하고 처리하는 최소 단위로, 문장을 작은 조각으로 쪼개 고차원 숫자 벡터로 변환한 뒤 다음 토큰을 확률적으로 선택하는 방식으로 문장을 생성합니다. 현재 대부분의 AI 서비스는 입력·출력 토큰 수로 과금하므로 사용자는 불필요한 설명을 줄이고 요약·구조화된 입력을 선호하는 '토큰 다이어트' 전략을 쓰며, 대화 기록 누적에 따른 토큰 폭발은 메모리·비용 부담을 키워 대화 길이 제한이나 중간 요약 도입을 촉발합니다. 이로 인해 토큰은 성능·비용·서비스 설계·사용자 행동을 좌우하는 경제적 단위가 되었고, 과거 버스 토큰처럼 지식 생산과 정보 처리의 연료를 상징하게 되었습니다.