엔비디아, AI 모델 하나로 여러 크기 구현하는 '스타 엘라스틱' 공개

AI 요약

엔비디아는 9일 하나의 LLM 체크포인트에서 여러 크기의 하위 모델을 동시에 포함하는 사후 학습 기술 '스타 엘라스틱'을 공개했으며, 네모트론 나노 v3(300억개 매개변수, 실제 활성 매개변수 36억개) 기반으로 하나의 학습으로 23B(활성 28억개)와 12B(활성 20억개) 버전을 생성할 수 있도록 설계했습니다. 연구진은 중요도 추정에 따른 중첩 가중치 공유와 MoE에서의 라우터 가중 전문가 활성 프루닝(REAP), Gumbel-Softmax 기반 학습형 라우터와 지식 증류를 도입해 하위 모델 구조를 자동 선택·학습하도록 했고, 긴 추론은 작은 모델이, 최종 답변은 큰 모델이 처리하는 전략으로 최대 16% 높은 정확도와 최대 1.9배 낮은 지연시간을 기록했다고 밝혔습니다. 단일 NVFP4 양자화 체크포인트로 저장공간을 126.1GB에서 58.9GB로 줄였고 학습 토큰 사용량을 최대 360배 절감했으며, 엘라스틱-23B는 일부 벤치마크에서 큐원3-30B-A3B를 능가하고 AIME 2025에서 85.63점을 기록했다고 설명했습니다.