KAIST, LLM 서버 구축 전 성능 검증하는 ‘가상 AI 실험장’ 개발

AI 요약

KAIST 전산학부 박종세 교수 연구팀이 대규모 AI 서버를 실제로 구축하지 않고도 성능과 효율을 검증할 수 있는 거대언어모델 서비스 인프라 시뮬레이터 LLMServingSim 2.0을 개발해 ISPASS 2026에서 최우수 논문상을 수상했다고 29일 밝혔습니다. LLMServingSim 2.0은 GPU, TPU, NPU, PIM, CXL 기반 메모리 등 다양한 이종 하드웨어와 분리형 인프라를 통합된 런타임 구조에서 모델링해 배치 스케줄링, 메모리 이동·재사용, 전력 모델 등 서비스 운영의 복잡한 동작을 재현하고 속도·전력·메모리 사용량·처리량 등을 가상으로 분석할 수 있습니다. 연구팀은 vLLM 기반 GPU 및 TPU 서빙 시스템과의 비교 검증에서 평균 0.95% 수준의 오차와 실용적 시뮬레이션 시간을 달성했으며, LLMServingSim 2.0을 공개하고 다양한 하드웨어 프로파일을 추가해 연구자와 기업이 차세대 AI 인프라를 실제 구축 전에 빠르고 저비용으로 검증할 수 있도록 발전시킬 계획입니다.