Alauda AI Platform Gateway

Agent Router

Alauda AI Platform Gateway 基于 Agent Router 构建,Agent Router 前身为 Envoy AI Gateway。 Agent Router 是一个 Kubernetes 原生的 AI 专用网关层,构建于 Envoy Gateway 之上,为 AI 推理工作负载提供智能流量管理、路由和策略执行能力。

主要组件和功能包括:

  • AI 感知路由:根据请求内容、模型名称和后端可用性,将推理请求路由到适当的后端模型服务,从而通过单个端点透明地提供多个模型服务。
  • 兼容 OpenAI 的 API:为所有下游推理服务提供统一且兼容 OpenAI 的 API 接口(/v1/chat/completions、/v1/completions、/v1/models),无论底层运行时为何。
  • 按模型限速和策略:在单个模型级别实施精细的限速、令牌配额和流量策略,防止资源耗尽,并确保各租户之间公平使用。
  • 后端负载均衡:使用可配置的负载均衡策略,在同一模型的多个副本之间分发推理请求,并提供运行状况检查和自动故障转移。
  • Envoy Gateway 集成:作为 Envoy Gateway 的扩展运行,继承其 Kubernetes Gateway API 原生控制平面、TLS 终止和可观测性功能(指标、访问日志、分布式跟踪)。
  • Gateway API 推理扩展(GIE):与 Kubernetes SIG Gateway API Inference Extension 集成,根据实时后端状态实现高级的、感知推理的调度和负载均衡决策。

Alauda AI Platform Gateway 是 Alauda AI Platform Inference Management 暴露推理服务所需的依赖项。

Alauda AI Platform Gateway 由 Alauda AI Platform 通过 envoyAIGateway 组件在 default AmlCluster 中安装和管理。重命名不会更改组件键。有关安装和组件配置的信息,请参阅安装 Alauda AI Platform。

指南

以下指南将 Agent Router 配置为多租户模型服务控制平面:

在专用命名空间中创建网关

在专用命名空间中创建 Gateway 及其 AIGatewayRoute,例如 maas-system,而不要在 Envoy Gateway 控制平面命名空间 envoy-gateway-system 中创建。这样可以将租户网关与控制平面隔离,并避免某些版本中的一个问题:放置在控制平面命名空间中的网关,其监听器不会应用 AI Gateway 请求处理 (ext_proc) 过滤器或 SecurityPolicy 规则,导致模型路由、令牌配额和身份验证在无提示的情况下失效。无论采用哪种方式,数据平面代理 Pod 都会创建在 envoy-gateway-system 中;此处只有 Gateway 资源的命名空间会产生影响。

文档

Agent Router 上游文档及相关资源: