모레, 텐스토렌트 갤럭시 기반 LLM 추론 성능 입증

AI 요약

모레는 텐스토렌트의 갤럭시 웜홀 시스템에 자사 MoAI 추론 프레임워크를 적용해 LLM 추론 성능을 입증했으며, 해당 성과를 5월 1일(현지 시각) 미국 샌프란시스코에서 열린 텐스토렌트 신제품 발표 행사(TT-Deploy)에서 공개했습니다. GPT-OSS, Qwen, GLM, DeepSeek 등 기준 테스트에서 텐스토렌트 갤럭시 웜홀 시스템이 엔비디아 DGX A100급 또는 그 이상의 LLM 추론 성능을 달성했으며, GPU와 텐스토렌트 웜홀 칩을 결합한 이종 분산 서빙 구조에서 텐스토렌트 칩을 prefill 전용 가속기로 활용해 HBM 사용을 줄이고 인프라 비용을 절감했다고 설명했습니다. MoAI 추론 프레임워크는 엔비디아, AMD, 텐스토렌트 등 이종 GPU 및 NPU를 단일 클러스터에서 통합 운용하는 분리 추론 솔루션이며, 모레는 향후 이종 GPU 간 KV 캐시 전송 효율화 등 성능 고도화를 추진할 계획이라고 밝혔습니다.