'AI 치매약' 터보퀀트의 역설…HBM 수용 더 확장시킬 것...왜?

AI 요약

AI와의 대화는 컨텍스트 윈도우 한계로 중요한 맥락을 잃어 'AI의 치매' 현상이 발생하며, 일반 GPT 모델은 약 128K 토큰(한글로 환산하면 책 200~300쪽) 정도를 동시에 참고할 수 있다고 설명했습니다. 구글의 양자화/압축 기술 터보퀀트(TurboQuant)는 메모리 사용량을 획기적으로 줄여 시장은 이를 '메모리를 6분의 1만 써도 된다'고 해석해 관련 반도체 주가가 급락했으나, 초고속 대규모 연산을 위해서는 HBM 같은 초고속 메모리가 필수라고 지적했습니다. 저자는 제본스의 역설과 과거 사례를 들어, 메모리 효율 향상은 오히려 사용량과 소비를 불러 AI 기업들이 비용 절감보다 더 오래 기억하고 정교한 서비스로 사용자 이탈을 막는 쪽을 선택할 것이라고 주장했습니다.