Amazon EC2 G5/G6 인스턴스에서 GPU Tensor Parallelism으로 비용 효과적으로 LLM 서빙하기

AI 요약

최근 기업들이 자체 LLM 구축 수요가 증가하면서 Llama 3 70B, Qwen 72B, EXAONE 3.5 32B 등 모델을 GPU에 올리려면 40GB에서 최대 150GB가 필요한 경우가 많아 H100/H200(80GB) 탑재 P5 인스턴스를 요청하는 사례가 일반적이지만 H100/H200은 공급이 부족합니다. Tensor Parallelism(TP)을 이용하면 NVIDIA A10G/L4(24GB) 여러 장을 장착한 Amazon EC2 G5/G6 인스턴스에서도 모델 파라미터를 분산해 서빙할 수 있고, vLLM은 TP를 지원하여 별도 코드 수정 없이 BF16 기준 32B 모델(약64GB)은 TP=4 구성 시 GPU당 약16GB만 적재되어 24GB GPU에 수용되며, A10G 4장 구성에 양자화(INT8, INT4)를 적용하면 약70B(약140GB)도 서빙 가능하다고 제시합니다. 또한 TP는 다중 GPU 병렬 처리로 동시 사용자 환경에서 처리량과 응답 속도를 개선하며, 본 글에서는 G5 인스턴스의 A10G 4장으로 Qwen3-8B를 TP=1, TP=2, TP=4로 서빙해 성능을 비교 측정했습니다.