article detail
LLM 추적 도구가 이제 AI 게이트웨이까지 구축하는 이유
2026. 11. 14. 오전 12:49

AI 요약
2026년 LangSmith, Langfuse, Opik, Braintrust 등 추적 도구 업체들이 모델 제공업체 앞에 게이트웨이를 추가했으며, 주된 목적은 호출을 차단해 예산을 관리하고 요청 경로에서 정책을 적용하려는 것이었습니다. 그전에는 LiteLLM 같은 프록시 게이트웨이와 LangSmith·Langfuse 같은 추적 도구가 역할을 분담했으나, LangChain은 2026년 5월 LangSmith LLM 게이트웨이를 비공개 베타로 발표하고 7월 30일 공개 베타로 전환했으며 Braintrust는 새 게이트웨이(프리뷰, 무료)를 안내했고 Comet은 Opik 베타를, 11월 4일 Langfuse는 MIT 라이선스의 Rust 기반 AI 게이트웨이를 공개 베타로 출시했고 MLflow는 이전부터 예산 알림과 한도를 제공하는 게이트웨이를 보유했습니다. 게이트웨이는 제공업체 API 키를 보관해 모든 호출을 단일 진입점에서 기록하고 차단할 수 있어(예: LangChain은 예산 초과 호출에 HTTP 402 응답) 가시성과 비용 통제에 유리하며, Langfuse는 W3C traceparent 헤더로 호출을 기존 트레이스에 합류시키고 LangSmith는 Gateway Credits 판매 등 상업적으로 이 위치를 활용하고 있습니다.