"한국, AI 비싸게 쓴다"…한국어 토큰 소모, 영어 최대 2.59배 높아

AI 요약

글로벌 AI 기업이 사용량(토큰)만큼 비용을 청구하는 종량제 요금제를 확대하면서 연구 결과 한국어는 영어보다 토큰을 최대 3.5배 더 소모해 비영어권 이용자가 더 많은 비용을 부담하는 문제가 확인되었습니다. 아란 코마츠자키의 LLM별 평가에서 한국어는 전 모델 평균 영어 대비 1.6배, 앤트로픽 모델은 최대 2.59배였고 토크나이저 개편을 감안하면 최대 3.5배라는 계산이 도출되었으며, 이는 한국어의 교착어 특성과 동음이의어, 글로벌 학습데이터에서 한국어 비중이 약 1%에 불과한 점 때문입니다. 전문가들은 초기 단계부터 고품질 한국어 학습 데이터 비중을 높이고 토크나이저 설계를 고도화하거나 국내 독자 모델을 개발해 해결할 수 있다고 조언했으나, 이정민 ABLD 대표는 토큰 효율성만 우선하면 범용 성능과 추론 효율이 떨어질 수 있다고 경계했습니다.