AI 인프라 기업 CTO 4인이 짚은 ‘AI 시대 병목과 해자’는?

AI 요약

29일 서울 코엑스에서 열린 래블업 ‘lab | up > /conf/6’의 패널토크에서 업스테이지, 하이퍼엑셀, 노타, 래블업의 CTO들이 ‘AI 병목을 해결하는 인퍼런스 최적화’를 주제로 토론했습니다. 패널은 추론 비용 증가와 에이전트 수요 확대로 모델 기업과 칩 제조사의 수직 통합이 가속화되고 있다고 진단하며, 가트너의 2026년 말까지 기업용 애플리케이션의 40%가 에이전트를 내장할 것이라는 전망과 함께 오픈AI·브로드컴의 자체 가속기(10기가와트, 첫 랙 올해 하반기·완료 목표 2029년 말) 및 엔비디아의 허깅페이스 인수(약 119억 달러·최대 약 10억 달러 직원 유지 보상 포함) 사례를 언급했습니다. 네 CTO는 주요 병목으로 강화학습 파이프라인(이활석), 메모리와 개발 주기(HBM·HBF 및 칩 설계의 3년 주기·이진원), 에이전트 레이어와 서빙·미들웨어 검증 문제(김태호·김준기)를 각각 꼽고 하드웨어·워크로드 조합 검증과 인재 확보의 필요성을 강조했습니다.