비씨카드, 美서 '에이전틱 AI 운영 플랫폼' 구축 사례 알려

AI 요약

비씨카드는 레드 햇 서밋 2026에서 지난 14일(현지시간) 미국 애틀랜타 행사에 국내 금융사 중 최초로 발표자로 초청되어 레드햇과 1년여간 공동으로 구축한 '에이전틱 AI 운영 플랫폼' 사례를 공개했다고 18일 밝혔습니다. 해당 플랫폼은 하나의 거대언어모델(LLM)에 의존하던 기존 방식에서 벗어나 업무별 특화된 다수의 소형언어모델(SLM)을 군집화해 동시 처리하도록 구성해 추론 속도를 최대 3배 이상 향상시키고 GPU 자원을 최대 70%까지 절감해 운영 비용을 획기적으로 낮추고 서비스 속도를 3배 이상 끌어올렸습니다. 비씨카드는 연간 100억건 이상 결제 데이터를 AI에 접목해 고가의 GPU 자원을 효율적으로 분산한 사례와 Eat.pl, BCGPT, MOAI 등 현재 운영 중인 서비스를 소개했습니다.