문샷 AI, ‘키미 K3.1 프로’ 가중치 공개…"딥시크 희소 어텐션 결합"

AI 요약

문샷 AI는 4일(현지시간) 허깅페이스를 통해 키미 K3.1 프로의 가중치를 배포했으며 저장소 용량은 약 1.56테라바이트로 96개 파일로 나눠 제공하고 모델 설정과 입력 처리 코드도 함께 배포했습니다. 키미 K3.1 프로는 총 2조8000억개 매개변수 중 추론 시 1040억개를 활성화하는 MoE 모델로 텍스트와 이미지를 처리하고 약 100만 토큰의 문맥을 지원하며, 내부 구조는 93개 계층 가운데 69개가 KDA, 24개가 게이트형 딥시크 희소 어텐션(DSA)으로 구성되어 어텐션 효율을 높였고 가중치는 MXFP4, 활성값은 MXFP8의 저정밀도 연산 구조와 양자화 인식 학습(QAT)을 적용했습니다. 문샷 AI는 자체 인프라 구동을 위해 vLLM·SGLang·TokenSpeed 등의 추론 엔진을 권장하고 가중치의 사용·수정·미세조정·재배포 및 상업적 활용을 자체 라이선스 하에 허용하되 연속 12개월 합산 매출 2000만달러 초과 시 별도 계약을 요구하며 월간 활성 사용자가 1억명 또는 월매출 2000만달러 초과 시 화면에 모델명을 표시해야 하고 내부 이용과 공식 파트너 이용에는 예외를 둔다고 밝혔습니다.