IT뉴스모아news terminal

article detail

모레, 리사 수 앞에서 AMD GPU 기반 초고속 LLM 추론 기술 소개

네이트
2026. 7. 24. 오후 4:00
모레, 리사 수 앞에서 AMD GPU 기반 초고속 LLM 추론 기술 소개

AI 요약

모레는 22~23일(현지시간) 미국 샌프란시스코에서 열린 AMD 연례 AI 행사 어드밴싱 AI 2026에 참가해 AMD MI300X GPU 32장(4노드)으로 구성한 시스템에서 분산 추론 솔루션 MoAI 추론 프레임워크로 대규모언어모델 GLM-5.1을 실시간으로 구동하는 시연을 진행했습니다. 관람객들은 챗봇을 직접 사용해 응답 속도와 서비스 품질을 체험했고, 모레는 TTFT, TPS, TPOT, GPU 사용 효율 등 실시간 성능 지표를 공개해 실제 서비스 환경에서의 성능과 인프라 활용도를 검증했습니다. 모레는 해당 솔루션이 AMD GPU 환경에서 분산 추론을 지원해 AI 서비스 운영 비용 절감과 인프라 효율 개선을 목표로 개발됐으며, 자체 AI 인프라 소프트웨어와 LLM 전문 자회사 모티프테크놀로지스를 통해 모델 개발 역량을 확보하고 AMD·텐스토렌트 등과 협력하고 있다고 밝혔습니다.

원문보기