“AI 서버 구축 전 미리 성능 검증”…KAIST, LLM 인프라 시뮬레이터 개발

AI 요약

KAIST는 박종세 전산학부 교수 연구팀이 개발한 LLM서빙심 2.0(LLMServingSim 2.0) 연구가 국제 컴퓨터 시스템 학회 ‘ISPASS 2026’에서 최우수 논문상을 받았다고 31일 밝혔습니다. LLM서빙심 2.0은 GPU 중심 환경을 넘어 NPU, PIM 등 이종 하드웨어와 프리필-디코드 분리·프리픽스 캐싱 등 복잡한 서빙 기법을 지원하며 연산 실행, 메모리 접근, 통신 비용과 전력·메모리 사용량·처리량을 동시에 모델링해 대규모 AI 서버를 가상으로 검증할 수 있도록 설계됐습니다. 연구진은 시뮬레이터를 오픈소스로 공개하고 실제 LLM 서빙 프레임워크와 연동해 검증을 확대하며 다양한 하드웨어 프로파일을 지속적으로 추가할 계획이라고 밝혔습니다.