1.58비트 터너리 양자화로 30B LLM을 맥북에서 돌리기: 0점에서 89.4%까지 복원한 기록

AI 요약

NVIDIA Nemotron 3.5 Lightning 30B(A3B)의 가중치를 -1, 0, +1 세 값으로만 표현하는 1.58비트 터너리 PTQ로 약 60GB에서 약 10GB로 줄여 사전학습을 다시 하지 않는 방식으로 Hugging Face에 MLX 프리뷰 체크포인트로 공개했습니다. on/off-policy distillation과 STE를 이용해 복원한 뒤 경계 마스킹으로 같은 3에폭에서 GSM8K을 0.00에서 89.31까지 회복시키는 등 성능을 크게 회복했으며 생성형 벤치마크 7종 평균은 원본 93.80 대비 83.82(원본의 89.4%)를 기록했고 실제 코드가 바뀐 가중치는 1에폭 동안 약 5~7%, 학습 대상은 전체의 약 5.9%였습니다. 메모리 측면에서는 통합 메모리 기준으로 맥이 대략 2/3를 GPU에 할당한다고 가정하면 24GB 맥북은 약 16GB, 16GB 맥북은 약 10.7GB를 쓸 수 있고 공개 설정으로는 가중치 외 메모리 약 2.4GB, KV 캐시 약 0.8GB 등으로 전체 최대 약 12.4GB가 필요해 24GB 이상을 권장했습니다.