[AI프리즘] "AI 에이전트 똑똑해질수록 추론 인프라가 관건"

AI 요약

전병곤 프렌들리AI 대표는 14일 서울 코엑스에서 열린 피지컬 AI 테크 데이에서 AI 에이전트가 고도화할수록 이를 빠르고 효율적으로 구동하기 위한 추론 인프라와 메모리 부담 완화의 중요성이 커진다고 말했습니다. 일례로 코딩 에이전트는 한 번의 처리에 입력 정보량이 11만6천 토큰에 달하고 출력은 184토큰에 그쳐 KV 캐시 등 메모리 용량이 급증해 스파스 어텐션·압축 기법과 프렌들리AI의 컨티뉴어스 배칭 기술로 효율을 높이고 있다고 전했습니다. 김상배 MIT 교수는 피지컬 AI는 촉각·힘·움직임 등 물리적 데이터 확보가 어렵고 99% 성공률로는 부족하다고 지적했으며 매니퓰레이션 데이터는 테슬라 자율주행 데이터(약 1천500만마일)와 비교해 양이 훨씬 적다고 설명했고, 정부는 류제명 과기정통부 제2차관 발언을 통해 피지컬 AI의 실증과 사업화, 산·학·연 협력을 지원하겠다고 밝혔습니다.