AI 매개변수 63% 줄여도 언어 이해력 유지…UNIST 새 모델 개발

AI 요약

울산과학기술원(UNIST) 인공지능대학원 김태환 교수팀은 여러 신경망 층이 전문가 모듈을 공유하는 전문가 혼합 구조 'GMoE(Global Mixture of Experts)'를 개발했습니다. GMoE는 공용 전문가와 각 층의 전용 전문가를 혼합해 기존 모델의 매개변수를 5억 4900만 개에서 2억 400만 개로 약 63% 줄이면서 평균 정답률을 기존 39.55%에서 39.51%로 비슷한 수준으로 유지했고, 전문가 선택 경로를 8만 1561개로 늘려 입력이 특정 경로에 몰리는 비율을 기존 25.65~45.55%에서 11.15%로 낮췄습니다. 이번 연구는 홍건우 UNIST 인공지능대학원 석사과정생이 제1저자로 참여했으며 연구 성과는 ACL 2026에 채택됐습니다.