"같은 GPU로 2.2배 더 빠르게"…오케스트로 '콘체르토 AI' 공개 - 머니투데이

AI 요약

오케스트로는 기업의 AI 인프라 운영 효율을 높이기 위한 AI 추론 운영 플랫폼 '콘체르토 AI'를 출시했다고 29일 밝혔습니다. 콘체르토 AI는 대규모 추론 요청을 분산 처리하고 GPU와 NPU 등 가속기 자원을 작업 특성에 맞춰 배분해 질문 분석(Prefill)과 답변 생성(Decode)을 서로 다른 GPU에 분산 배치함으로써 병목을 줄이고 응답 속도를 높이는 것이 특징입니다. 오케스트로는 자체 온프레미스 환경 벤치마크에서 고부하 상황에서 콘체르토 AI의 분산 서빙 방식이 기존 단일 처리 방식보다 토큰 출력 속도를 2.2배 향상시켰다고 밝혔습니다.