KT, AI 선택부터 토큰 절감까지 한번에 ‘토큰팩토리’ 공개…500여종 모델 연계

AI 요약

KT가 인공지능 모델 선택부터 비용 관리, 신뢰·안전 기능을 통합해 관리하는 플랫폼 토큰팩토리를 오는 30일 출시한다고 박상원 KT AX사업부문장이 27일 서울 종로구 광화문 West빌딩에서 열린 기자간담회에서 소개했습니다. 토큰팩토리는 오토 모델 라우터로 업무 특성에 맞고 비용 절감이 되는 모델을 추천하고 업스테이지의 솔라 프로4, KT의 믿음 K3.0, 모티프의 모티프-3 등 국산 모델 3종과 해외 오픈소스 모델 4종을 포함한 73종을 먼저 제공하며, 다음달 오픈라우터와 협력해 전 세계 500여종의 모델을 연계할 예정입니다. 프롬프트 압축으로 토큰 사용량을 25% 절감할 수 있고 고객 데이터를 국내 데이터센터에서 처리해 저장·학습하지 않으며 개인정보 포함 프롬프트 입력을 차단하는 가드레일을 적용해 보안을 강화했고 기업 고객을 대상으로 먼저 출시한 뒤 내년 3월 개발자와 개인고객으로 서비스를 확대할 예정입니다.