자비스앤빌런즈 삼쩜삼, AI 통합 플랫폼 '카터' 구축

AI 요약

자비스앤빌런즈는 27일 사내 AI 에이전트를 통합 관리하는 자체 플랫폼 카터를 구축해 삼쩜삼Q와 삼쩜삼 앱을 비롯한 서비스와 사내 업무에 활용되는 AI 에이전트 8개를 관리하고 있다고 밝혔습니다. 회사 측은 모델 티어링으로 답변 생성에는 고성능 모델을 유지하고 의도 분류·안전 판정 등 보조 작업에는 경량 모델을 적용해 전체 호출의 약 50%를 경량 모델로 처리해 LLM 호출비용을 약 45% 절감했으며, 반복 프롬프트를 저장해 재사용하는 프롬프트 캐싱으로 캐시 재사용 구간의 호출비용을 약 43% 절감했다고 설명했습니다. 카터는 비용 관리·모니터링·보안 기능을 통합해 AI 호출 중앙 추적, 개인정보 자동 비식별화, 프롬프트 인젝션 차단, 클라우드 장애 시 자동 전환 등을 제공하고 있으며 사내 지식 자산 통합 검색인 지식 오케스트레이터와 AI 에이전트 답변 품질의 정량 평가 체계도 구축하고 있다고 전했습니다.