오케스트로, GPU 활용 효율 높이는 AI 추론 운영 플랫폼 ‘콘체르토 AI’ 공

AI 요약

AI·클라우드 소프트웨어 전문기업 오케스트로가 보유 GPU 인프라의 활용 효율을 높이는 AI 추론 운영 플랫폼 ‘콘체르토 AI(CONCERTO A.I.)’를 공개했습니다. 콘체르토 AI는 대규모 추론 요청을 분산 처리하고 GPU·NPU 등 가속기 자원을 작업 특성에 맞춰 배분해 응답 지연과 자원 낭비를 줄이며, 질문 분석과 답변 생성 작업을 분리하는 분산 서빙 기반 최적화와 키-값 캐시 최적화·메모리 재사용·실시간 지능형 라우팅 기능을 결합해 병목을 줄입니다. 자체 벤치마크에서 고부하 환경 기준 토큰 출력 속도가 기존 단일 처리 방식 대비 2.2배 빨라졌고, 모델 배포부터 추론 요청 처리·자원 배분·성능 모니터링까지 LLMOps 기능을 제공하며 리벨리온·퓨리오사AI 등 국산 NPU까지 아우르는 이기종 가속기 지원으로 특정 하드웨어 벤더 의존도를 낮출 수 있어 국내에서 GPU와 국산 NPU를 아우르는 상용화 수준의 AI 추론 운영 플랫폼은 콘체르토 AI가 유일하다고 회사 측은 설명했습니다.