디노티시아, KV 캐시 압축 기술 공개…"AI 컴퓨팅 병목 푼다"

AI 요약

디노티시아는 2일 대형언어모델의 KV 캐시를 압축하는 STAR-KV 기술 관련 논문과 소스코드를 공개했으며, 해당 연구는 UC 샌디에이고 VVIP 랩 등과의 공동 연구로 ICML 2026 스포트라이트 논문으로 채택됐습니다. 논문 실험에서는 저랭크 압축만으로 KV 캐시를 최대 75% 줄였고 혼합정밀도 양자화 기법을 결합하면 전체 KV 캐시를 최대 20배까지 압축했으며, 디노티시아는 기술을 고도화해 vLLM 등 오픈소스 LLM 추론 프레임워크에서 활용할 계획이라고 밝혔습니다.