[테크 해설] AI2, LLM 바이트 모델로 개조…재학습량은 사전학습의 0.83%

AI 요약

앨런AI연구소(AI2)와 뮌헨대 공동연구진은 학습을 마친 언어모델을 내부 층은 유지한 채 바이트 인코더·디코더·경계 예측기만 새로 붙이는 방식으로 '바이트화'를 수행해 두 단계 재학습에 총 491억 토큰(1단계 98억, 2단계 393억)을 사용했고, 이는 원 모델 Olmo 3 7B의 사전학습 5조9300억 토큰 대비 0.83%(중간·장문 학습 포함 시 0.81%)에 해당한다고 밝혔습니다. 1단계에서 경계 예측기는 원 모델 토큰 경계를 99% 이상 정확도로 따라 했고, 바이트화된 Bolmo 등 모델은 문자 수준 과제에서 토큰 모델보다 우수했으나 코드 생성의 pass@1은 일부 경우 낮아졌습니다. 바이트 모델은 UTF-8 바이트를 읽어 한글은 1자당 3바이트로 처리량이 많고, AI2는 Bolmo 가중치와 1단계 체크포인트를 허깅페이스에 아파치 2.0으로 공개했으며 연구 결과는 네이처(2026.10.7)에 게재되었습니다.