노타, 문샷AI 초거대 모델 최적화…“B200 GPU로 인프라 비용 20% 절감”

AI 요약

노타는 문샷AI의 초거대 모델 키미 K3.1 프로(2조8000억개의 매개변수)를 최적화해 기존에 엔비디아 B300 GPU 8장이 필요하던 것을 B200 GPU 8장에서도 실행할 수 있도록 해 초기 GPU 구매 비용을 최대 약 20% 낮추고 클라우드 임대료는 최대 약 22% 절감했다고 10일 밝혔습니다. 노타는 전문가 모듈을 최대 37% 줄이는 프루닝으로 메모리 요구량을 낮춰 GPQA 다이아몬드 테스트에서 원본 모델 점수의 99% 이상을 유지하면서 B200 환경에서 최대 100만 토큰의 긴 문맥 처리가 가능하고 작은 보조 모델을 활용한 추측 디코딩으로 처리 속도도 높였다고 설명했습니다.