“AI 메모리 사용 줄여라”… 터보퀀트·리벳 ‘에이전트OS’ 주목

AI 요약

인공지능 에이전트가 서비스에 적용되며 계획 수립·도구 호출·중간 상태 저장 등을 반복하는 과정에서 컨텍스트와 KV 캐시가 누적돼 메모리 사용량이 빠르게 증가하고, 이로 인해 GPU와 메모리 자원 사용량이 비용과 확장성에 직접적인 영향을 미치고 있습니다. 구글 리서치의 터보퀀트는 LLM의 KV 캐시를 초저비트로 압축해 메모리 사용을 줄이는 모델 경량화 접근을 제시했으며 KAIST 한인수 교수가 공동 연구자로 참여했고, 오픈소스 그룹 리벳의 에이전트OS는 액터 기반과 아이솔레이트·웹어셈블리 기반의 경량 실행 환경으로 에이전트를 필요할 때만 깨워 자원 점유를 조정해 실행 오버헤드를 줄이는 실행 구조적 해법을 제안했습니다. 두 기술은 동일한 메모리 효율 문제를 다른 층에서 해결하는 사례로 업계에서는 이러한 시도가 늘어날 것으로 보고 GPU나 메모리 사용량을 줄이거나 관리하는 기술이 AI 도입 확산에서 계속 중요하게 다뤄질 것이라고 평가하고 있습니다.