"AI 초장문 처리 속도 최대 35배 높인다"…자이프라, 새 어텐션 기술 공개

AI 요약

미국 AI 스타트업 자이프라가 2일(현지시간) 아카이브(arXiv)를 통해 공개한 '자이프라 계층적 어텐션(ZHA)'는 문맥을 트리 형태로 계층적 요약·검색해 질문과 관련된 영역만 점진적으로 탐색하는 방식으로 기존 어텐션의 연산 부담을 줄이는 기술입니다. 자이프라의 H100 기반 성능 예측 모델에서는 1000만 토큰 문맥에서 일반 어텐션보다 약 32~35배, 미니맥스의 희소 어텐션(MSA)보다 약 4.7~5.1배 빠를 것으로 추정됐고, 기존 사전학습 모델의 가중치를 유지한 채 약 40억 토큰 규모의 증류 학습과 추가 학습 파라미터 8만1920개로 적용할 수 있으며 LongBench v2(63.4% vs 기존 일반 어텐션 58%)와 SWE-bench Verified(67.4%) 등에서 유사하거나 더 나은 정확도를 보였습니다. 다만 엔비디아 '네모트론 3.5 라이트닝'에 적용했을 때 RULER 평가에서 최대 25.3%포인트 하락하는 등 모델별 성능 차이가 있었고, 최대 35배라는 속도 향상은 실측이 아닌 예측 결과이며 최적화된 실행 커널을 공개하지 않아 실제 서비스에서의 속도 개선은 추가 검증이 필요합니다.