介绍
Envoy AI Gateway
Alauda Build of Envoy AI Gateway 基于 Envoy AI Gateway 项目。 Envoy AI Gateway 是构建在 Envoy Gateway 之上的 Kubernetes 原生、面向 AI 的网关层,为 AI 推理工作负载提供智能流量管理、路由和策略执行能力。
主要组件和能力包括:
- AI 感知路由:根据请求内容、模型名称和后端可用性,将推理请求路由到合适的后端模型服务,从而在单一端点后透明地提供多模型服务。
- OpenAI 兼容 API:为所有下游推理服务提供统一的、与 OpenAI 兼容的 API 接口(
/v1/chat/completions、/v1/completions、/v1/models),而不受底层运行时影响。 - 按模型限流和策略:在单个模型级别实施细粒度的速率限制、token 配额和流量策略,防止资源饥饿,并确保不同租户之间的公平使用。
- 后端负载均衡:使用可配置的负载均衡策略,在同一模型的多个副本之间分配推理请求,并提供健康检查和自动故障转移。
- Envoy Gateway 集成:作为 Envoy Gateway 的扩展运行,继承其 Kubernetes Gateway API 原生的控制平面、TLS 终止和可观测性功能(指标、访问日志、分布式追踪)。
- Gateway API Inference Extension (GIE):与 Kubernetes SIG Gateway API Inference Extension 集成,基于后端实时状态进行高级的、感知推理的调度和负载均衡决策。
Envoy AI Gateway 是 Alauda Build of KServe 暴露推理服务所必需的依赖项。
有关在平台上的安装,请参见 安装 Envoy AI Gateway。
指南
以下指南将 Envoy AI Gateway 配置为多租户模型服务控制平面:
- 验证消费者身份 — 验证 SSO 令牌或 API 密钥,并传递调用方身份。
- 配置 token 配额 — 强制执行按用户、按部门和按层级的 token 预算。
- 度量 token 使用量 — 报告每个租户的消耗情况,并为 chargeback 提供数据。
- 路由到 LLM 提供商 — 通过凭证注入和故障转移为外部提供商提供前端入口。
- 对 token 使用量进行计费回传 — 使用 Cost Management 将 token 使用量计入各命名空间账单。
在专用命名空间中创建网关
请在专用命名空间中创建 Gateway 及其 AIGatewayRoute,例如 maas-system,而不要创建在 Envoy Gateway 控制平面命名空间 envoy-gateway-system 中。这样可以将租户网关与控制平面隔离,并避免某些版本中的问题:如果网关位于控制平面命名空间中,其监听器不会应用 AI Gateway 请求处理(ext_proc)过滤器或 SecurityPolicy 规则——这会在不报错的情况下破坏模型路由、token 配额和身份验证。无论哪种方式,数据平面代理 pod 都会创建在 envoy-gateway-system 中;这里真正重要的是 Gateway 资源的命名空间。
文档
Envoy AI Gateway 上游文档和相关资源:
- Envoy AI Gateway 文档:https://aigateway.envoyproxy.io/ — 涵盖架构、配置和 API 参考的官方文档。
- Envoy AI Gateway GitHub:https://github.com/envoyproxy/ai-gateway — 源代码、release notes 和问题。
- Envoy Gateway:https://gateway.envoyproxy.io/ — Envoy AI Gateway 扩展所依赖的底层网关基础设施。
- Gateway API Inference Extension (GIE):https://gateway-api-inference-extension.sigs.k8s.io/ — 与 Envoy AI Gateway 集成的 Kubernetes SIG 项目,用于实现 AI 感知路由。
- KServe (Alauda Build):../kserve/intro — KServe 使用 Envoy AI Gateway 作为暴露和路由推理服务的必需依赖项。