[AI 리뷰] AI 언어모델의 ‘토큰 장벽’ 깬다…메타, 256개 바이트로 기존 모델 성능 추월 가능성

AI 요약

메타 페어와 워싱턴대 공동 연구진은 지난달 11일 아카이브에 발표한 연구에서 기존 수만~수십만 개 토큰 대신 256개 값의 바이트를 직접 처리하는 모델이 충분한 학습과 연산을 거치면 토큰 기반 모델보다 더 높은 성능에 도달할 수 있다고 제시했습니다. 연구진은 토큰 기반 대형 모델의 지식을 바이트 기반 소형 모델로 이전하기 위한 Marginalize-It과 End-Of-Token 방식의 지식 증류를 개발해 약 10억 매개변수 모델들을 최대 1조 바이트의 학습 데이터로 실험한 결과, 초기에는 토큰 모델이 우수했으나 연산량이 커질수록 바이트 모델이 꾸준히 개선되었고 증류를 적용한 바이트 모델은 기존 토큰 증류 모델이 도달한 성능을 약 6분의 1 수준의 학습 데이터로 달성했습니다. 확장 법칙 분석에서는 End-Of-Token 기반 10억 매개변수 모델이 장기적 확장 구간에서 토큰 기반 증류 모델보다 평균 과제 성능이 최대 4% 높아질 것으로 예측되며, 라마 3.2-1B보다 최대 6.5%, 젬마 3-1B보다 최대 8.1%, 젬마 2B보다 최대 2.1% 높을 가능성이 제시되었으나 이는 실험 데이터에 기반한 외삽 예측이��고 밝혔습니다.