오케스트로, AI 추론 운영 플랫폼 '콘체르토 AI' 공개…GPU 활용률 높인다

AI 요약

오케스트로는 인공지능(AI) 추론 운영 플랫폼 콘체르토 AI(CONCERTO A.I.)를 29일 선보였으며, 에이전트형 AI 확산으로 늘어나는 추론 트래픽에 대응하고 GPU·NPU 등 가속기 자원을 효율적으로 운영하도록 설계됐습니다. 콘체르토 AI는 질문 분석과 답변 생성을 분리해 작업 특성에 맞게 자원을 배분하는 분산 서빙으로 토큰 출력 속도를 기존 방식 대비 2.2배로 유지하고, AI 모델 배포·추론 요청 처리·자원 배분·성능 모니터링 등 LLMOps 기능과 리벨리온·퓨리오사AI 등 국산 NPU를 포함한 이기종 가속기 지원을 통해 기업의 추론 병목과 운영 부담을 낮추고 프라이빗 AI 환경에서 성능과 보안을 확보하도록 지원할 계획입니다.