IT뉴스모아news terminal

article detail

모레, 차세대 AI 추론 최적화 프레임워크 ‘TIDE’ 공개

데이터넷
2026. 11. 20. 오후 1:27
모레, 차세대 AI 추론 최적화 프레임워크 ‘TIDE’ 공개

AI 요약

AI 인프라 솔루션 기업 모레(대표 조강원)는 미국 시카고에서 열린 슈퍼컴퓨팅 2026(SC26)에서 거대언어모델(LLM)의 추론 성능과 효율을 높이는 자기 개선형 추론 프레임워크 TIDE(Temporal Incremental Draft Engine)를 공개했습니다. TIDE는 대형 모델(Target Model)이 추론 과정에서 생성하는 중간 은닉 상태(Intermediate Hidden States)를 재활용해 상대적으로 작은 보조 모델(Draft Model)을 점진적으로 학습시키고, 추측 디코딩을 통해 보조 모델이 예측한 여러 토큰을 대형 모델이 한꺼번에 검증하도록 해 실제 서비스 환경에서 보조 모델을 지속적으로 개선하면서 불필요한 연산을 줄이도록 설계되었습니다. 연구 결과 TIDE는 기존 방식 대비 처리량을 최대 1.66배 향상시키고 보조 모델 학습 시간을 최대 3.02배 단축했으며, 엔비디아 H100 GPU를 대형 모델 추론에, AMD 인스팅트 MI250 GPU를 보조 모델 학습에 활용하는 이기종 GPU 환경에서는 시스템 전체 처리량을 최대 1.22배 개선했습니다.

원문보기