자비스앤빌런즈, AI 통합 플랫폼 ‘카터’ 구축…LLM 운영비 45% 절감

AI 요약

자비스앤빌런즈가 사내 AI 에이전트를 통합 관리하는 플랫폼 '카터'를 구축해 현재 삼쩜삼Q 등 총 8개의 사내외 에이전트를 카터 기반으로 운영하며 LLM 운영 비용을 최대 45% 절감했습니다. 비용 절감은 답변 생성은 고성능 모델을 유지하되 의도 분류·안전 판정 등 보조 연산을 경량 모델로 처리하는 '모델 티어링'으로 전체 호출의 약 50%를 경량화해 LLM 호출 비용을 약 45% 낮추고, 프롬프트 캐싱을 표준화해 캐시 재사용 구간의 호출 비용을 43% 추가로 절감한 결과입니다. 또한 카터는 비용 모니터링과 공통 보안·개인정보 보호 기능, 클라우드 간 자동 장애 전환, 실시간 관측, 개인정보 자동 비식별화 및 프롬프트 인젝션 차단을 적용해 인프라 안정성과 보안성을 높였고, 지식 오케스트레이터와 정량적 평가 체계도 추가 구축해 서비스 정확도를 개선할 방침입니다.