AI 추론 서비스의 새로운 관문, Inference Gateway | 인사이트리포트 | 삼성SDS

AI 요약

요청 건수 기준의 한도와 균등 분배를 전제로 만든 기존 API Gateway는 LLM 추론에서 한계를 드러내며, 특정 사용자의 자원 독점, 위험한 입력 차단 불가, GPU 증설 후에도 특정 서버에만 요청이 쌓이는 문제를 일으킵니다. Inference Gateway는 이를 보완하기 위해 API Gateway 역할을 LLM 환경에 맞게 확장한 계층으로, '이 요청을 받아들일 것인가'를 판단하는 AI Gateway(인증·토큰 기반 사용량 제어·프롬프트 안전성 검사)와 '받아들인 요청을 어디에서 처리할 것인가'를 결정하는 추론 스케줄링(요청 특성·캐시·서버 상태 기반 라우팅)으로 구성됩니다. 이 계층이 수집하는 토큰 사용량과 서버별 부하 데이터는 GPU 증설이 필요한 상황인지 분배만 고치면 되는 상황인지를 가려주는 투자 판단의 근거가 되며, 같은 모델·같은 GPU라도 요청 수신과 분배 방식에 따라 처리량·비용·안정성이 달라집니다.