프리즘ML, 1비트 LLM '본자이' 발표…극단적 압축에도 모델 정확도 유지

AI 요약

캘리포니아공과대학(칼텍) 출신들이 창업한 스타트업 프리즘ML은 지난달 말 네이티브 1비트 LLM인 본자이(Bonsai) 8B와 더 작은 4B, 1.7B 모델을 공개했으며, 본자이 8B는 메모리 1.15GB로 구동된다고 소개했습니다. 본자이는 모든 가중치를 ±1로만 표현하고 128개 가중치마다 하나의 FP16 스케일 팩터를 공유해 실질적 저장 용량을 가중치당 1.125비트로 줄였으며, 이는 사후 양자화가 아닌 처음부터 1비트로 학습한 네이티브 아키텍처라고 설명했습니다. 프리즘ML에 따르면 본자이 8B는 아이폰 17 프로 맥스에서 초당 44토큰, M4 프로 탑재 맥에서 초당 131토큰, RTX 4090에서 초당 300~400토큰을 처리하고 지능 밀도는 1.06/GB로 알리바바 Qwen3 8B의 0.10/GB보다 높으며 아파치 2.0 오픈웨이트로 배포되었으나 커뮤니티 검증은 아직 미미합니다.