[과기원NOW] UNIST, 몸집 줄고 성능 유지되는 대형언어모델 개발

AI 요약

울산과학기술원(UNIST)은 김태환 인공지능대학원 교수 연구팀이 대형언어모델(LLM)의 여러 신경망 층이 전문가 신경 모듈을 함께 공유해 활용하는 GMoE(Global Mixture of Experts)를 개발했다고 10일 밝혔습니다. GMoE는 모든 신경망 층이 함께 쓰는 공용 전문가와 각 층에 하나씩 배치되는 전용 전문가로 구성되어 모델 파일 크기와 필요한 메모리를 줄이고, 라우팅 방식을 개선해 특정 전문가 조합으로 입력값이 쏠리는 문제를 줄였으며 연구 결과는 국제 학술대회 계산언어학학회 2026(ACL)에서 발표되었습니다.