介绍

Envoy AI Gateway

Alauda Build of Envoy AI Gateway 基于 Envoy AI Gateway 项目。 Envoy AI Gateway 是构建在 Envoy Gateway 之上的 Kubernetes 原生、面向 AI 的网关层,为 AI 推理工作负载提供智能流量管理、路由和策略执行能力。

主要组件和能力包括:

  • AI 感知路由:根据请求内容、模型名称和后端可用性,将推理请求路由到合适的后端模型服务,从而在单一端点后透明地提供多模型服务。
  • OpenAI 兼容 API:为所有下游推理服务提供统一的、与 OpenAI 兼容的 API 接口(/v1/chat/completions、/v1/completions、/v1/models),而不受底层运行时影响。
  • 按模型限流和策略:在单个模型级别实施细粒度的速率限制、token 配额和流量策略,防止资源饥饿,并确保不同租户之间的公平使用。
  • 后端负载均衡:使用可配置的负载均衡策略,在同一模型的多个副本之间分配推理请求,并提供健康检查和自动故障转移。
  • Envoy Gateway 集成:作为 Envoy Gateway 的扩展运行,继承其 Kubernetes Gateway API 原生的控制平面、TLS 终止和可观测性功能(指标、访问日志、分布式追踪)。
  • Gateway API Inference Extension (GIE):与 Kubernetes SIG Gateway API Inference Extension 集成,基于后端实时状态进行高级的、感知推理的调度和负载均衡决策。

Envoy AI Gateway 是 Alauda Build of KServe 暴露推理服务所必需的依赖项。

有关在平台上的安装,请参见 安装 Envoy AI Gateway。

指南

以下指南将 Envoy AI Gateway 配置为多租户模型服务控制平面:

在专用命名空间中创建网关

请在专用命名空间中创建 Gateway 及其 AIGatewayRoute,例如 maas-system,而不要创建在 Envoy Gateway 控制平面命名空间 envoy-gateway-system 中。这样可以将租户网关与控制平面隔离,并避免某些版本中的问题:如果网关位于控制平面命名空间中,其监听器不会应用 AI Gateway 请求处理(ext_proc)过滤器或 SecurityPolicy 规则——这会在不报错的情况下破坏模型路由、token 配额和身份验证。无论哪种方式,数据平面代理 pod 都会创建在 envoy-gateway-system 中;这里真正重要的是 Gateway 资源的命名空间。

文档

Envoy AI Gateway 上游文档和相关资源: