비드래프트, LLM 추론 가속 엔진 ‘VKAE’ 리더보드·통합 컨테이너 공개

AI 요약

AI 전문기업 비드래프트(대표 김민식)는 자체 개발한 대규모 언어모델(LLM) 추론 가속 엔진 VKAE(VIDRAFT Kernel Acceleration Engine)의 성능 리더보드를 공개하고, 모델 가중치와 최적화된 서빙 환경을 묶은 통합 Docker 컨테이너를 배포한다고 밝혔습니다. VKAE는 동일 GPU·동일 조건에서 표준 서빙 대비 최대 23.4배 높은 추론 처리량을 기록했으며 OpenAI 호환 API를 지원하고 사용자가 자신의 하드웨어에서 성능을 재현해 검증할 수 있도록 했습니다. 비드래프트 자체 실측에서는 엔비디아 B200 GPU와 FP8 환경에서 Qwen3.5-35B-A3B가 단일 스트림 기준 초당 최대 601토큰을 생성했고 다중 요청 처리에서는 초당 1만 토큰 이상의 처리량을 기록했다고 발표했습니다.