[매경의 창] LLM 혁명의 새 슈퍼갑 '메모리'

AI 요약

문병로 서울대 교수는 대규모언어모델(LLM)이 GPU에서 대부분의 시간을 HBM과 SRAM 사이의 데이터 이동에 쓰며, H100 GPU의 SRAM은 약 75MB이고 HBM은 대략 100GB라고 설명했습니다. 그는 KV 캐싱이 계산 재실행을 줄여 토큰 서열 처리 시간을 크게 단축시키지만 데이터 이동이 여전히 병목이며 구글의 터보퀀트 같은 정밀도 축소 기술도 압축·해제 비용으로 속도 개선이 미미하다고 지적했습니다. 또한 HBM 수요 급증으로 메모리 업체인 삼성전자가 엔비디아를 능가할 가능성을 제기하며 내후년쯤 삼성전자의 영업이익이 엔비디아를 넘어설 수 있다고 전망했고, 어제 기준 엔비디아 시가총액은 6500조원, 삼성전자는 1200조원이라고 전했습니다.