노타, ‘솔라 오픈 2’ 경량화 모델 공개…기업 AI 인프라 부담 낮춘다

AI 요약

노타는 정부 독자 AI 파운데이션 모델(독파모) 프로젝트 2차 사업의 성과로 업스테이지의 솔라 오픈 2(Solar Open 2) 전용 경량화 모델을 공개했다고 27일 밝혔습니다. 이번에 공개한 모델은 총 2500억 개의 매개변수를 갖춘 솔라 오픈 2를 기업 환경에서 효율적으로 운영하도록 최적화해 모델 가중치 메모리를 기존 500.6GB에서 117.8GB로 약 76.5% 줄여 엔비디아 H100 GPU 8장이 필요했던 모델을 GPU 2장만으로 구동할 수 있게 했습니다. 전문화된 MoE 구조로 추론 시 150억 개만 활성화되도록 설계하고 데이터 기반 MoE 양자화, 라우터 인지형 MoE 양자화, 비균일 전역 프루닝, 4비트 가중치 변환 및 중요도가 낮은 전문가 모듈의 선택적 제거 등을 적용해 메모리 사용량을 줄이면서도 툴 호출 성능은 유지했다고 회사는 전했습니다.