HBM만으론 부족…AI 추론 확산에 뜨는 'KV 캐시 SSD'

AI 요약

고대역폭메모리(HBM)만으로는 커지는 인공지능(AI) 추론 수요를 감당하기 어렵워지면서 문맥 데이터를 저장·관리하는 '키-밸류 캐시 SSD(KV 캐시 SSD)'가 차세대 AI 인프라용 낸드 제품으로 부상하고 있다는 분석입니다. KV 캐시 SSD는 D램과 고부가 낸드를 결합해 당장 연산에 필요한 데이터는 D램에 두고 방대한 문맥 데이터는 SSD에 배분해 관리해 시스템 병목을 줄이고 토큰 생성 속도를 높이며, 엔비디아의 ICMS 아키텍처(루빈 플랫폼)는 낸드 오프로딩과 16 플레인 구조로 읽기·쓰기 효율을 극대화합니다. 대신증권은 AI 추론 확산으로 글로벌 메모리 시장이 2027년 사상 처음으로 1조달러 시대를 열 것으로 전망하고 낸드 시장은 올해 매출액이 전년 대비 247% 폭증한 2410억달러에 이를 것으로 봤으며, 삼성전자와 SK하이닉스 등 D램과 낸드를 모두 보유한 국내 종합 메모리 기업들이 구형 D램 자체 수급으로 상대적 우위를 가질 수 있다는 관측이 제기되고 있습니다.