Alauda AI Platform Gateway
Agent Router
Alauda AI Platform Gateway 基于 Agent Router 构建,Agent Router 前身为 Envoy AI Gateway。 Agent Router 是一个 Kubernetes 原生的 AI 专用网关层,构建于 Envoy Gateway 之上,为 AI 推理工作负载提供智能流量管理、路由和策略执行能力。
主要组件和功能包括:
- AI 感知路由:根据请求内容、模型名称和后端可用性,将推理请求路由到适当的后端模型服务,从而通过单个端点透明地提供多个模型服务。
- 兼容 OpenAI 的 API:为所有下游推理服务提供统一且兼容 OpenAI 的 API 接口(
/v1/chat/completions、/v1/completions、/v1/models),无论底层运行时为何。 - 按模型限速和策略:在单个模型级别实施精细的限速、令牌配额和流量策略,防止资源耗尽,并确保各租户之间公平使用。
- 后端负载均衡:使用可配置的负载均衡策略,在同一模型的多个副本之间分发推理请求,并提供运行状况检查和自动故障转移。
- Envoy Gateway 集成:作为 Envoy Gateway 的扩展运行,继承其 Kubernetes Gateway API 原生控制平面、TLS 终止和可观测性功能(指标、访问日志、分布式跟踪)。
- Gateway API 推理扩展(GIE):与 Kubernetes SIG Gateway API Inference Extension 集成,根据实时后端状态实现高级的、感知推理的调度和负载均衡决策。
Alauda AI Platform Gateway 是 Alauda AI Platform Inference Management 暴露推理服务所需的依赖项。
Alauda AI Platform Gateway 由 Alauda AI Platform 通过 envoyAIGateway 组件在 default AmlCluster 中安装和管理。重命名不会更改组件键。有关安装和组件配置的信息,请参阅安装 Alauda AI Platform。
指南
以下指南将 Agent Router 配置为多租户模型服务控制平面:
- 对使用方进行身份验证 — 验证 SSO 令牌或 API 密钥,并传递调用方身份。
- 配置令牌配额 — 强制执行按用户、部门和层级划分的令牌预算。
- 计量令牌使用量 — 按租户报告使用量,并为费用分摊提供数据。
- 路由到 LLM 提供商 — 通过注入凭证和故障转移接入外部提供商。
- 分摊令牌使用费用 — 使用 Cost Management 按命名空间对令牌使用量计价并生成账单。
在专用命名空间中创建 Gateway 及其 AIGatewayRoute,例如 maas-system,而不要在 Envoy Gateway 控制平面命名空间 envoy-gateway-system 中创建。这样可以将租户网关与控制平面隔离,并避免某些版本中的一个问题:放置在控制平面命名空间中的网关,其监听器不会应用 AI Gateway 请求处理 (ext_proc) 过滤器或 SecurityPolicy 规则,导致模型路由、令牌配额和身份验证在无提示的情况下失效。无论采用哪种方式,数据平面代理 Pod 都会创建在 envoy-gateway-system 中;此处只有 Gateway 资源的命名空间会产生影响。
文档
Agent Router 上游文档及相关资源:
- Agent Router 文档:https://theagentrouter.ai/ — 官方文档,涵盖架构、配置和 API 参考。
- Agent Router GitHub:https://github.com/theagentrouter/agent-router — 源代码、release notes 和问题。
- Envoy Gateway:https://gateway.envoyproxy.io/ — Agent Router 扩展的底层网关基础设施。
- Gateway API Inference Extension (GIE):https://gateway-api-inference-extension.sigs.k8s.io/ — 与 Agent Router 集成的 Kubernetes SIG 项目,用于实现 AI 感知路由。
- KServe (Alauda AI Platform Inference Management):../kserve/intro — KServe 使用 Alauda AI Platform Gateway 作为暴露和路由推理服务的必需依赖项。