IT뉴스모아news terminal

article detail

AI 모델 살빼고 GPU 놀리지 않는다… 효율화 기술 부상 [테크언커버드]

서울경제
2026. 11. 18. 오후 5:45
AI 모델 살빼고 GPU 놀리지 않는다… 효율화 기술 부상 [테크언커버드]

AI 요약

AI 모델 경량화는 모델이 차지하는 메모리와 연산량을 줄여 적은 컴퓨팅 자원으로 구동하고 추론 비용을 낮추기 위한 것으로, 딜로이트에 따르면 AI 연산에서 추론 비중은 3년 전 3분의 1에서 올해 3분의 2로 증가할 것으로 전망됩니다. 업계에서는 가지치기·양자화·그래프 최적화 등을 활용하지만 유승주 교수는 그래프 최적화는 품질 저하가 적은 반면 양자화와 가지치기는 일부 품질 영향이 있을 수 있다고 설명하며, 하드웨어별 최적화가 필요해 GPU가 30~50%만 유효하게 가동되는 현실과 함께 엔비디아의 MIG(하드웨어 분할)와 MPS(소프트웨어 공유) 방식이 주목받고 있습니다. 실제 사례로 업스테이지는 솔라 오픈2에 노타 기술을 적용해 엔비디아 H100 8장을 2장으로 줄였고, 노타는 알리바바 큐웬 3.8 맥스에서 B300을 24장에서 4장으로 줄였으며 스퀴즈비츠는 엔비디아 코스모스에 기술을 적용해 약 3.1배 빠른 추론 속도를 달성했습니다.

원문보기