article detail
Kubernetes의 개방형 AI 네이티브 스택: 개방형 모델부터 분산 추론 및 에이전트까지
2026. 11. 17. 오후 3:04

AI 요약
지난 10년 동안 Kubernetes는 마이크로서비스와 컨테이너화된 애플리케이션을 조정하는 표준으로 자리 잡았으며, 오늘날 AI 워크로드가 고립된 연구 프로토타입에서 대규모 멀티 테넌트 프로덕션 Fleet으로 이동하고 있습니다. Google Cloud는 KubeCon + CloudNativeCon North America 2026에서 OpenRL(CNCF 샌드박스), llm-d 1.0(CNCF 샌드박스), KubeRay를 사용한 GKE 기반 Ray(CNCF 샌드박스), Agent Substrate(CNCF 샌드박스), gVisor(CNCF 샌드박스), TorchTPU 등을 포함하는 Kubernetes 및 GKE 전반의 통합 오픈소스 AI 네이티브 스택을 도입·확장하고 샘플 매니페스트와 실시간 데모를 제공한다고 밝혔습니다. 이 스택은 RL 사후 학습의 가속기 활용도 개선, 프리픽스 캐시 인식 라우팅과 분리형 서빙을 통한 분산 추론·캐시 관리, 멀티턴 에이전트 워크플로 수명 주기 관리, 멀티 테넌트 클러스터에서의 신뢰할 수 없는 코드 격리 등 기존 Kubernetes 인프라의 확장성·성능·보안 문제를 해결하려는 목적이라고 소개했습니다.