IT뉴스모아news terminal

article detail

초장문 AI 추론 병목 줄이는 ‘희소 어텐션’ 설계법 공개…엔비디아, GPU 연산 효율 최적화

인공지능신문
2026. 11. 18. 오전 11:30
초장문 AI 추론 병목 줄이는 ‘희소 어텐션’ 설계법 공개…엔비디아, GPU 연산 효율 최적화

AI 요약

엔비디아는 17일(현지시간) 수십만 토큰의 장문 데이터를 처리하는 대형언어모델(LLM)의 추론 효율을 높이기 위한 희소 어텐션 설계 지침과 GPU 실행 특성 분석을 담은 8가지 설계 원칙을 공개했습니다. 분석에서는 희소 어텐션을 인덱서, 톱케이 선택, 핵심 어텐션의 세 단계로 구분해 GPU 병목을 규명했으며, 예컨대 12만8,000토큰 환경에서 딥시크 R1의 밀집 어텐션은 특정 트랜스포머 계층의 Prefill 시간의 91%를 차지한 반면, 희소 어텐션을 적용한 딥시크 V3.2에서는 인덱서+톱케이가 전체 처리 시간의 47%를 차지하고 핵심 어텐션은 24% 수준으로 나타났고, 디코딩에서는 키 헤드를 1개에서 8개로 늘릴 때 실행 시간이 최대 7.6배 늘어나는 등 사전 처리와 디코딩의 성능 제약이 다르다고 제시했습니다. 엔비디아는 키 헤드를 공유해 점수를 통합하고 인덱서 헤드 차원을 128 또는 256(대부분 128 권장)으로 설정할 것, FP16 후처리 및 누산으로 최대 1.31배·1.45배 속도 향상 가능성, 디코딩에서 이전 선택 재사용(텐서RT-LLM의 Guess-Verify-Refine로 2.1~2.4배 성능)과 인덱서·톱케이의 커널 ���합 및 블록 단위 토큰 선택 등 메모리 접근을 줄이는 최적화 기법들을 권장했습니다.

원문보기