문서 시장에 확산된 '터보퀀트'…사이냅소프트, AI 서비스 비용 낮췄다

AI 요약

사이냅소프트는 구글 리서치의 벡터 양자화 알고리즘 터보퀀트를 자사 AI 솔루션 '사이냅 OCR IX'에 적용했다고 15일 밝혔습니다. 터보퀀트 적용으로 KV 캐시를 압축해 동일한 GPU 환경에서 더 긴 컨텍스트와 대용량 배치를 병목 없이 처리할 수 있게 됐고, 이로 인해 GPU 부담과 총소유비용(TCO)을 낮출 수 있다고 설명했습니다. 또한 CPU 기반 환경도 지원해 품질 손실을 1% 이하로 억제하면서 CPU 서버만으로 분당 약 100건 수준의 추론 처리가 가능하도록 성능을 확보해 금융·공공 등 온프레미스 환경에서 AI 도입 확대를 기대하고 있습니다.