[매경의 창] LLM 혁명의 새 슈퍼갑 '메모리'

AI 요약

LLM은 디코더가 프롬프트를 받아 토큰을 하나씩 출력하면서 서열 길이가 늘어나고 이로 인해 나이브한 계산 부담이 이차함수적으로 커진다고 설명했습니다. 대부분의 수행 시간은 GPU의 HBM과 SRAM 사이 데이터 이동에 소모되며, KV 캐싱으로 계산을 줄여도 데이터 이동이 전체 시간의 대부분(심하면 99% 이상)을 차지한다고 했습니다. 비트 수를 줄이는 구글의 터보퀀트 등 기술은 표현 크기를 약 4분의 1로 줄여 자원 효율을 높였지만 속도 개선은 미미하고 HBM 병목을 해소하기에는 부족하며, 문병로 교수는 늦어도 내후년이면 삼성전자의 영업이익이 엔비디아를 넘어설 것 같다고 전망했습니다.