IT뉴스모아news terminal

article detail

"AI 시대의 데이터 병목…추론 특화 칩이 해결사"

한국경제AI추론LLMLPUSRAM데이터처리메모리병목에이전트AI칩설계
2026. 6. 3. 오후 7:08
"AI 시대의 데이터 병목…추론 특화 칩이 해결사"

AI 요약

조너선 로스 엔비디아 최고소프트웨어설계자(CSA)는 3일 대만 타이베이에서 열린 컴퓨텍스 2026에서 대규모언어모델(LLM)과 에이전트 AI의 고도화에 따라 데이터 처리 병목을 해결할 언어처리장치(LPU)의 중요성이 커질 것이라고 말했습니다. LPU는 외부 D램(HBM) 대신 초고속 S램(SRAM)을 칩 내부에 적용해 연산해 데이터 처리 속도가 수십 배 빠르고 HBM 공급 부족 속에서도 메모리 병목을 해소하며, 하나의 거대 모델을 여러 대가 분산 처리해 데이터 중복과 에너지·전력 소모를 줄일 수 있다고 설명했습니다. 로스 CSA는 LPU 개발을 총괄하는 핵심 인물로 스타트업 그록을 창업했다가 엔비디아가 약 200억달러에 그록을 인수하면서 합류했고 젠슨 황 엔비디아 CEO는 LPU 기반의 그록 3 LPX 서버를 차세대 AI 인프라인 베라루빈에 포함시켰습니다.

원문보기
feed://articles/related관련 기사
"AI 추론 병목 해결사"…샌디스크, HBM 한계 넘는 HBF 기술 발표디지털데일리
2026. 5. 8. 오전 9:34

"AI 추론 병목 해결사"…샌디스크, HBM 한계 넘는 HBF 기술 발표

AI추론메모리병목HBM플래시메모리엣지컴퓨팅데이터센터LLMKV캐시
서울대 찾은 젠슨 황 "K만 붙이면 유명해진다…나는 K-젠슨"연합인포맥스
2026. 6. 8. 오후 1:01

서울대 찾은 젠슨 황 "K만 붙이면 유명해진다…나는 K-젠슨"

AI엔비디아칩설계LLM오픈소스로봇에이전트신약개발
삼성전자, 에이전트 AI 확산 기대…목표가 상향-NH투자증권 - 머니투데이머니투데이
2026. 6. 8. 오전 8:53

삼성전자, 에이전트 AI 확산 기대…목표가 상향-NH투자증권 - 머니투데이

에이전트AI메모리수요목표주가삼성전자HBMDRAMAI추론엣지디바이스
오픈AI 칩 인재 품은 앤트로픽…삼성 파운드리 수주 기대 커지나이코노미트리뷴
2026. 6. 7. 오후 7:03

오픈AI 칩 인재 품은 앤트로픽…삼성 파운드리 수주 기대 커지나

오픈AI반도체칩설계AI인프라LLM맞춤형칩파운드리스타트업
폭증하는 토큰 사용량…‘AI 비용 청구서’ 더 늘어난다중앙일보
2026. 6. 6. 오전 12:16

폭증하는 토큰 사용량…‘AI 비용 청구서’ 더 늘어난다

AI비용토큰사용LLM에이전트AI추론AI코딩AI공급제약비용증가
컴팔과 데이터섹션, 프로덕션 시대를 위한 AI 인프라 발전뉴시스
2026. 6. 4. 오후 7:21

컴팔과 데이터섹션, 프로덕션 시대를 위한 AI 인프라 발전

AI서버AI인프라고성능컴퓨팅클라우드플랫폼AI훈련AI추론에이전트AI프로덕션배포
노타, GPU·NPU 동시 활용 AI 추론 기술 구현에 13%↑[특징주]이데일리
2026. 6. 4. 오전 9:11

노타, GPU·NPU 동시 활용 AI 추론 기술 구현에 13%↑[특징주]

AI추론GPUNPULLM이기종컴퓨팅에너지효율온디바이스AI추론최적화
노타, 이기종 컴퓨팅 기반 AI 추론 기술 개발..."GPU·NPU 역할 분배가 핵심"AI타임스
2026. 6. 4. 오후 12:27

노타, 이기종 컴퓨팅 기반 AI 추론 기술 개발..."GPU·NPU 역할 분배가 핵심"

이기종컴퓨팅AI추론LLMGPUNPUAIPC에너지효율온디바이스
[위클리AI] ‘전략 달라도 목표는 하나’ 앤트로픽·구글·오픈AI, 에이전트 AI 경쟁 심화동아일보
2026. 6. 2. 오후 4:55

[위클리AI] ‘전략 달라도 목표는 하나’ 앤트로픽·구글·오픈AI, 에이전트 AI 경쟁 심화

에이전트AILLM코드생성정직성자동화워크플로우AI경쟁클라우드
[소부장 인사이트] 에이전틱 AI 시대 진짜 병목은 'GPU' 아닌 '인프라 구조'전자신문
2026. 6. 2. 오후 4:00

[소부장 인사이트] 에이전틱 AI 시대 진짜 병목은 'GPU' 아닌 '인프라 구조'

에이전트AI추론인프라KV캐시메모리병목컨텍스트윈도우수직통합TCO토큰처리
HBM 우회 AI 칩 동맹… 바이트댄스, '추론 특화 LPU'로 판 흔든다글로벌이코노믹
2026. 6. 2. 오전 6:57

HBM 우회 AI 칩 동맹… 바이트댄스, '추론 특화 LPU'로 판 흔든다

AI칩추론특화LPUHBMASICSRAMDRAMReRAM
파수AI, 미국 AX 법인 '심볼로직' 출범전자신문
2026. 6. 1. 오전 11:05

파수AI, 미국 AX 법인 '심볼로직' 출범

미국진출AI솔루션데이터보안LLM에이전트AI기업AI컨설팅인공지능