모레, 텐스토렌트 갤럭시 기반 LLM 추론 성능 입증

AI 요약

모레는 1일(현지시간) 미국 샌프란시스코에서 열린 텐스토렌트 신제품 발표 행사(TT-Deploy)에서 자사 MoAI 추론 프레임워크를 텐스토렌트의 '갤럭시 웜홀' 시스템에 적용해 거대언어모델(LLM) 추론 성능을 입증했다고 4일 밝혔습니다. GPT-OSS, Qwen, GLM, DeepSeek 등 최신 MoE 모델 기준 테스트에서 텐스토렌트 갤럭시 웜홀 시스템이 엔비디아 DGX A100급 또는 그 이상의 성능을 달성했고, GPU와 텐스토렌트 웜홀 칩을 결합한 이종 분산 서빙 구조로 입력 처리(prefill) 가속화를 통해 HBM 사용과 전체 인프라 비용을 절감했다고 회사는 설명했습니다. 모레의 MoAI 추론 프레임워크는 엔비디아, AMD, 텐스토렌트 등 이종 가속기를 단일 클러스터에서 통합 운용하도록 설계돼 벤더 종속성을 줄이며, 조강원 대표는 향후 KV 캐시 전송 효율화·EP와 분리 추론의 공동 최적화·텐스토렌트 NPU 통합 등을 통해 성능 고도화를 추진할 계획이라고 밝혔습니다.