디노티시아 KV캐시 압축 기술, ICML 스포트라이트 채택으로 실력 입증

AI 요약

AI 반도체 기반 AI 인프라 전문기업 디노티시아가 UC샌디에이고 VVIP랩과 공동연구로 개발한 KV캐시 압축 기술 STAR-KV의 논문과 소스코드를 공개했으며 해당 논문은 ICML 2026에 스포트라이트 논문으로 채택됐습니다. 디노티시아는 저랭크 압축만으로 KV캐시를 최대 75% 줄였고 혼합정밀도 양자화를 결합해 전체 압축률을 최대 20배까지 끌어올렸으며 맞춤형 GPU 커널로 어텐션 연산 속도는 최대 6.9배, 전체 생성 처리량은 최대 3.1배 향상됐다고 밝혔습니다. 회사는 정확도가 기존 주요 KV캐시 압축 방식을 웃돈다고 설명하면서 STAR-KV를 실제 AI 서비스 환경과 vLLM 등 오픈소스 LLM 추론 프레임워크에 적용하도록 기술을 고도화할 계획이라고 밝혔습니다.