article detail
모레, LLM 추론 효율 높이는 프레임워크 ‘TIDE’ 공개
2026. 11. 20. 오후 4:03

AI 요약
모레는 대형언어모델(LLM)의 추론 성능과 효율을 높이는 자기 개선형 추론 프레임워크 TIDE를 미국 시카고에서 열린 슈퍼컴퓨팅 2026에서 처음 발표했다고 20일 밝혔습니다. TIDE는 추론 중 생성되는 데이터를 활용해 작은 보조 모델이 여러 토큰을 예측하면 대형 모델이 이를 검증하는 추측 디코딩을 적용하고, 대형 모델의 중간 은닉 상태를 재활용해 보조 모델을 점진적으로 학습시켜 연산 부담을 줄이며 실시간 모니터링으로 효과가 낮을 때 연산을 줄이거나 재최적화하도록 설계되어 추론 처리량을 최대 1.66배, 보조 모델 학습 시간을 최대 3.02배 개선했고 이기종 GPU 환경에서는 시스템 전체 처리량을 최대 1.22배 향상시켰습니다.