망고부스트 “까다로운 AI 최적화 쉽게… AMD 잠재력 극대화” [AMD 인스팅트]

AI 요약

AMD의 인공지능 연산 특화 인스팅트 GPU는 이론적으로 엔비디아 동세대와 견줄 성능을 보였지만 얇은 사용자층과 사례 부족, 소프트웨어 지원 및 생태계 한계로 현장에서는 성능 잠재력을 충분히 끌어내기 어려웠습니다. 망고부스트는 22일(현지시각) 싱가포르에서 열린 AMD 인스팅트&ROCm 워크숍 세션에서 AMD GPU 기반 LLM 서비스 성능을 자동으로 최적화하는 소프트웨어 LLM부스트를 공개했으며, 전문 인력 없이도 하드웨어 역량을 극대화하고 이종 GPU·멀티 노드·멀티 리전 환경을 지원한다고 설명했습니다. 회사 측은 LLM부스트가 최적화 시간을 몇 주에서 몇 초로 줄이고 기본 상태 대비 추론에서 2~3배, 훈련에서 최대 2배 성능 향상, MI300X 기반 8GPU 단일노드 대비 4노드에서 4.3배, RCCL 대비 네트워크 최적화 시 4.48배, MI355X에서는 딥시크 3.2에서 처리량 1.61배·첫 토큰 지연 416배 단축, Qwen3 모델군에서 처리량 1.26배·첫 토큰 지연 51.7배 단축 등의 성과를 제시했다고 밝혔습니다.