엔비디아, 한국 AI 모델 4종 추론 성능 최대 2배 높이는 ‘다이나모’ 배포 기술 공개

AI 요약

엔비디아는 9일 SK텔레콤의 에이닷엑스 K2(A.X K2), LG AI연구원의 K-엑사원 2.0(K-EXAONE 2.0), 업스테이지의 솔라 오픈 2(Solar Open 2), 모티프 테크놀로지스의 모티프-3(Motif-3) 등 국내 주요 기업이 개발한 AI 모델 4종을 데이터센터 환경에서 효율적으로 운영하도록 다이나모 최적화 배포 레시피를 공개했다고 밝혔습니다. 다이나모 분산 추론 프레임워크를 활용해 복잡한 시스템 설정 부담을 줄이고 엔비디아 B200 GPU 환경에서 기본 구성만으로도 최대 2배의 추론 성능을 제공할 수 있다고 했으나 성능 향상 수치는 적용 모델·추론 작업·하드웨어 구성 및 비교 기준에 따라 달라질 수 있고 발표자료에는 모델별 세부 측정 결과나 비교 대상 구성이 제시되지 않았습니다. 다이나모는 분산 서빙, 지능형 요청 라우팅, KV 캐시 관리, GPU 간 저지연 통신 등을 통해 멀티노드 환경에서 연산 자원 활용도와 확장성을 개선하며 텐서RT-LLM, vLLM, SGLang 등 주요 오픈소스 추론 엔진과 연동하고 쿠버네티스 환경에서는 그로브, 저지연 통신 라이브러리로는 닉슬을 지원합니다.