오케스트로, AI 추론 운영 플랫폼 '콘체르토 AI' 출시

AI 요약

AI·클라우드 소프트웨어 전문 기업 오케스트로가 기업 GPU 인프라의 추론 병목을 줄이는 AI 추론 운영 플랫폼 콘체르토 AI(CONCERTO A.I.)를 출시했다고 29일 밝혔습니다. 콘체르토 AI는 질문 분석과 답변 생성 작업을 분리해 각각 최적화된 자원에 배치하는 분산 서빙 구조와 키-값 캐시 최적화·메모리 재사용 기술을 적용해 응답 속도를 개선했으며, 자체 온프레미스 환경 벤치마크에서 고부하 환경의 토큰 출력 속도가 기존 단일 처리 방식 대비 2.2배 빠른 것으로 확인됐습니다. 오케스트로는 모델 배포부터 추론 처리·자원 배분·성능 모니터링까지 LLMOps 기능을 단일 플랫폼에서 제공하고 엔비디아 GPU뿐 아니라 리벨리온·퓨리오사AI 등 국산 NPU를 포함한 이기종 가속기도 지원한다고 밝혔으며, 김범재 대표는 프라이빗 AI 환경에서도 안정적인 AI 서비스 운영을 지원하겠다고 말했습니다.