모레, 텐스토렌트 갤럭시 기반 LLM 추론 성능 입증

AI 요약

AI 인프라 솔루션 기업 모레는 5월 1일(현지 시각) 미국 샌프란시스코에서 열린 텐스토렌트 신제품 발표 행사(TT-Deploy)에서 텐스토렌트의 '갤럭시 웜홀' 시스템에 자사 ‘MoAI 추론 프레임워크’를 적용해 LLM 추론 성능을 입증했다고 4일 밝혔습니다. GPT-OSS, Qwen, GLM, DeepSeek 등 최신 MoE 모델 기준 테스트에서 갤럭시 웜홀은 엔비디아 DGX A100급 또는 그 이상의 성능을 달성했고, GPU와 텐스토렌트 웜홀 칩을 결합한 이종 분산 서빙 구조에서 웜홀 칩을 prefill 전용 가속기로 활용해 HBM 사용을 줄이며 전체 인프라 비용을 절감했다고 설명했습니다. 모레의 MoAI 추론 프레임워크는 엔비디아, AMD, 텐스토렌트 등 이종 GPU 및 NPU를 단일 클러스터에서 통합 운용해 벤더에 종속되지 않는 인프라를 가능하게 하고, 조강원 대표는 향후 성능 고도화를 추진할 계획이라고 밝혔습니다.