AI 토큰값 ‘다이어트 경쟁’…쏟아지는 기업용 솔루션 [스타트업 스트리트]

AI 요약

인공지능(AI) 스타트업들이 AI 토큰 비용을 줄여주는 서비스를 잇따라 선보이며 기업 간 거래(B2B) 시장을 공략하고 있습니다. 라이너는 전날 AI 오케스트레이션 솔루션 라이너 모델 API를 출시해 어려운 질의는 고성능 프런티어 모델로, 일반 질의는 경량 모델로 보내 토큰 비용을 줄이고 전체 질의 가운데 고성능 모델이 반드시 필요한 경우는 약 43%여서 질의별 최적 모델 배분으로 모든 질의를 프런티어 모델로 처리할 때보다 토큰 비용을 절반 이상 줄이면서 프런티어급 성능을 유지할 수 있다고 설명했으며 플랜핏·바카티오 등 스타트업 3곳을 대상으로 테스트 중이고 연내 B2B 매출 비중을 최대 20%까지 끌어올리는 것이 목표입니다. 뤼튼테크놀로지스의 뤼튼AX는 7월 뤼튼AX LLM 라우터를 출시해 사용 목적과 비용·성능 우선순위에 따라 적합한 LLM을 자동으로 선택해 온프레미스 또는 프라이빗 클라우드 환경에 라우터를 구축해 제조·공공·금융 등에서 수요를 확인했고, 바운드포는 지난달 AI 데이터 운영 플랫폼 드로파이의 토큰 지출 관리 서비스 파레토로 예산 초과 요청을 실행 전에 차단하고 팀별 사용량과 예상 지출을 실시간으로 보여주며 비용 누수 지점을 찾아준다고 밝혔습니다.