특히 눈에 띄는 ‘LLM 추론 최적화’ 방식들

AI 요약

AI 모델의 경쟁력을 위해 성능·속도뿐 아니라 추론 비용의 최소화·효율화가 중요하다고 지적되며, 중국은 이를 통한 가성비로 미국을 추격하고 있고 10월 온라인 기술 콘퍼런스 P99 CONF에서 LLM 추론 최적화 방법이 소개될 예정입니다. 모델 최적화로는 양자화(예: 파라미터당 32비트에서 8비트로 정밀도 감소)와 증류 등이 제시되었고, 양자화는 메모리 사용량과 연산 비용을 크게 줄이지만 품질 저하가 발생할 수 있으며 증류는 대형 모델의 응답으로 소형 모델을 학습시키는 방식으로 라이선스 규정 확인이 필요하다고 설명됐습니다. 서비스 최적화로는 정적·동적(예: 15ms마다)·연속 배칭과 프리필(prefill)과 디코드(decode) 단계 분리 등 스케줄링·라우팅·재사용 기법이 공유됐고, 배칭 방식과 입·출력 머신 할당에 따라 지연 시간과 컴퓨트·메모리 활용도에 차이가 있다고 소개됐습니다.