은행 AI 비서, 50회 문답서 토큰 비용 82% 절감…카우치베이스, PoC 결과 공개

AI 요약

카우치베이스가 영국 금융사의 AI 비서를 대상으로 진행한 PoC에서는 고객과 AI가 다섯 차례 문답했을 때 토큰 비용 절감률이 29.3%였고 50차례 문답 세션에서는 81.8%로 나타났으며 연간 500만 건의 50차례 문답 세션을 가정하면 토큰 비용이 10만4995달러에서 1만9128달러로 줄어든다고 회사는 계산했습니다. PoC에는 대화 맥락을 저장하는 에이전트 메모리와 의미가 비슷한 질문의 답변을 재사용하는 시맨틱 캐시를 적용했고 질문을 벡터화하는 데 7토큰이 소요되며 캐시 적중 시 답변 생성 비용이 들지 않았습니다. 테스코의 상품 목록 앱은 세 기능을 카우치베이스로 통합한 뒤 응답 시간이 28밀리초에서 16밀리초로 줄었고 글로벌 에너지 기업 테스트에서는 170건 중 137건이 저장된 요청과 정확히 일치해 캐시 적중률이 80.6%로 외부 LLM 호출이 33건으로 감소했으며 캘빈클라인과 타미힐피거는 카우치베이스 기반 에이전트를 이틀 만에 실제 서비스에 배포했습니다.