"10배 비싼 AI, 제값 할까"…성능보다 '효율' 파고든 스타트업 - 머니투데이

AI 요약

생성형 AI의 고성능 모델이 잇달아 출시되면서 서비스 운영 기업들의 비용 부담이 커져 업계의 경쟁 무게중심이 단순 성능에서 비용 효율성과 추론 효율로 빠르게 이동하고 있으며, 예컨대 앤트로픽의 클로드 페이블 5.1은 입력 100만 토큰당 10달러·출력 100만 토큰당 50달러로 경량 모델 클로드 하이쿠 4.5(입력 1달러·출력 5달러)보다 10배 비싼 것으로 지적되었습니다. 이에 따라 프렌들리AI의 컨티뉴어스 배칭 등 추론 최적화 기술로 GPU 비용을 50% 이상 낮추는 시도나 스퀴즈비츠의 메모리·연산량 절감 기술(네이버D2SF·카카오벤처스·삼성넥스트 투자, 올해 6월 리벨리온 인수), 하이퍼엑셀의 LPDDR 기반 LPU 개발 등 하드웨어·소프트웨어 양면의 비용 절감 노력이 이어지고 있습니다. 또한 셀렉트스타는 자동 검증 솔루션 '다투모 이밸'로 내년 1분기에 '비용 대비 성능' 평가 기능을 추가할 예정이며, 앱토는 외부 LLM API들을 자사 서비스의 이용자 행동과 AI 호출 비용을 함께 비교해 적정 모델을 찾아주는 서비스를 제공하고 있습니다.