사이냅소프트, 구글 AI 기술 ‘터보퀀트’ 발 빠르게 적용… ‘사이냅 OCR IX’ 메모리 효율 극대화

AI 요약

문서 인공지능(AI) 기업 사이냅소프트(대표 전경헌)는 15일 구글 리서치의 최신 벡터 양자화 알고리즘 터보퀀트(TurboQuant)를 자사 AI 솔루션 사이냅 OCR IX에 성공적으로 적용했다고 밝혔습니다. 터보퀀트 적용으로 KV 캐시를 고도로 압축해 동일 GPU 환경에서 더 긴 컨텍스트와 더 큰 배치를 병목 없이 빠르고 안정적으로 처리할 수 있게 되어 고객들의 TCO를 낮추는 데 성공했습니다. 또한 사이냅소프트는 품질 손실을 1% 이하로 억제하면서 CPU 서버만으로 분당 약 100건 수준의 추론 처리가 가능한 사이냅 OCR IX CPU 버전도 지원하고 있다고 밝혔습니다.