서강대 연구팀, LLM 장문맥 처리 효율 높인 KV 캐시 압축기술 개발

AI 요약

서강대학교 컴퓨터공학과 연구팀이 장문맥 LLM의 KV 캐시 메모리 사용량을 줄이면서 성능을 유지하는 KV 캐시 압축기술 SurrogateKV를 개발했으며 논문은 EMNLP 2026의 Findings에 채택되었습니다. SurrogateKV는 최근 토큰의 어텐션으로 문맥 중요도를 평가해 중요 영역은 RAW로 유지하고 낮은 중요도의 연속 영역은 하나의 SURROGATE KV로 압축해 일부 정보를 보존하며 별도 모델 학습이나 어텐션 연산 변경 없이 기존 기법과 결합해 사용할 수 있습니다. LongBench 평가에서 SurrogateKV-Ada는 레이어당 512개 슬롯 조건에서 41.26점을 기록해 기존 Ada-KV(40.77점)보다 높았고 전체 KV 대비 평균 10.5%의 prefill KV만 사용하면서 성능의 98.4%를 유지했으며 SurrogateKV-Snap과 NIAH 평가에서도 성능 향상이 보고되었습니다.