'망각'을 배우는 AI…구글 터보퀀트 등장의 진짜 의미[In-Depth]

AI 요약

구글 연구진이 지난달 25일(현지시간) 발표한 터보퀀트는 AI 모델의 KV 캐시 메모리를 압축하는 기술로 메모리 사용량을 6배 이상 줄이고 처리 속도를 최대 8배까지 끌어올린다고 소개했습니다. 터보퀀트는 입력 데이터를 무작위로 회전해 요소별로 양자화한 뒤 잔차를 다시 양자화하는 QJL 기법을 적용해 데이터를 -1과 +1로 표현하는 1비트 방식으로 처리하고, 핵심 정보를 3~4비트 수준으로 표현합니다. 이 기술은 AI의 중심이 '얼마나 많이 기억하느냐'에서 '어떻게 기억하고 꺼내느냐'로 이동하고 있음을 시사하며 HBM 수요 등 인프라 영향과 함께 삼성전자·SK하이닉스 등 반도체 기업의 실적 관점에서 시장의 관심을 불러일으켰습니다.