모레, 텐스토렌트 갤럭시 기반 LLM 추론 성능 입증

AI 요약

모레는 텐스토렌트의 갤럭시 웜홀 시스템에 자사 MoAI 추론 프레임워크를 적용해 5월 1일(현지 시각) 미국 샌프란시스코에서 열린 텐스토렌트 신제품 발표 행사(TT-Deploy)에서 LLM 추론 성능을 입증했다고 4일 밝혔습니다. GPT-OSS, Qwen, GLM, DeepSeek 등 최신 MoE 모델 기준 테스트에서 텐스토렌트 갤럭시 웜홀이 엔비디아 DGX A100급 또는 그 이상의 LLM 추론 성능을 달성했다고 밝혔습니다. 모레는 GPU와 텐스토렌트 웜홀 칩을 결합한 이종 분산 서빙 구조에서 텐스토렌트 칩을 prefill 전용 가속기로 활용해 HBM 사용을 줄이고 전체 인프라 비용을 절감했다고 설명했습니다.