"같은 GPU로 2.2배 더 빠르게"…오케스트로 '콘체르토 AI' 공개

AI 요약

오케스트로는 29일 기업의 AI 인프라 운영 효율을 높이기 위한 AI 추론 운영 플랫폼 콘체르토 AI를 출시했다고 밝혔습니다. 콘체르토 AI는 대규모 추론 요청을 분산 처리하고 GPU와 NPU 등 가속기 자원을 작업 특성에 맞게 배분해 사용자의 질문 이해·분석 작업(Prefill)과 답변 생성 작업(Decode)을 서로 다른 자원에 분산 배치함으로써 병목을 줄이고 응답 속도를 높이는 분산 서빙 기반 추론 최적화를 핵심 기술로 합니다. 오케스트로의 온프레미스 환경 벤치마크에서 고부하 상황 시 같은 GPU 환경 대비 토큰 출력 속도가 2.2배 증가했으며, 회사는 이를 통해 기업이 프라이빗 AI 환경에서도 안정적으로 서비스를 운영할 수 있도록 지원하겠다고 밝혔습니다.