介绍
Model as a Service(MaaS)通过兼容 OpenAI 的 API 为大型语言模型提供托管网关。它为平台团队提供了一种一致的方式来发布模型、组合多个上游、授予访问权限、强制执行令牌配额并了解使用情况,同时应用开发人员可以使用 API 密钥调用他们已订阅的模型。
MaaS 基于 Alauda Build of Envoy Gateway、Alauda AI Platform Gateway 和 Authorino 构建。Envoy Gateway 提供 Kubernetes Gateway API 基础,Agent Router 提供模型感知路由和令牌计量,Authorino 对请求进行身份验证。Alauda AI Platform 通过 envoyGateway、envoyAIGateway 和 authorino 组件管理和安装这些组件,这些组件属于 default AmlCluster;请参阅 安装 Alauda AI Platform。
为什么使用 MaaS?
MaaS 将模型服务与模型使用分离:
- 模型所有者可以将推理服务作为 MaaS 上游提供,而无需公开其内部路由详细信息。
- 管理员可以发布一个由一个或多个推理服务或外部提供商支持的面向客户端的模型。
- 开发人员只需使用一个兼容 OpenAI 的网关,无需了解每个后端的 URL 和身份验证方法。
- 平台团队可以强制执行按模型设置的令牌配额,并按用户、订阅、模型和令牌类型查看使用情况。
MaaS 可以通过同一个网关同时公开平台托管的推理服务和外部兼容 OpenAI 的模型提供商。
请求流程
对于每个请求,MaaS 会执行以下检查:
- 调用方提供 MaaS API 密钥并通过身份验证。
- 调用方通过有效订阅拥有对所请求客户端模型的访问权限。
- 该用户和模型的订阅仍有可用令牌配额。
- 网关根据优先级和权重选择一个可用的已配置上游;如果配置了提供商模型名称,则发送该名称,并记录模型服务返回的实际令牌使用量。
未经身份验证或未获授权的请求会返回 401 或 403。超出订阅配额的请求会返回 429。
配额按用户而非 API 密钥强制执行。同一用户拥有的多个 API 密钥共享该用户在某个订阅和模型中的可用额度。
主要概念
MaaS 在 2.9 中发布模型
已发布模型由使用 maas.alauda.io/v1alpha2 API 的 MaaSModelRef 表示。以下示例将面向客户端的模型与其上游分开。应用前,请将资源引用替换为现有的兼容服务。必须将自托管服务标记为可用于 MaaS,并且外部服务必须已导入 aml-maas。
在应用请求中使用 clientModelName。除非有意将其设置为相同名称,否则不要使用 Kubernetes 资源名称。较低的 priority 更为合适;weight 会在优先级相同的上游之间分配流量。需要时,在已发布模型上配置重试和故障转移;这些设置仅应用于当前请求,并且可能将重试转移到另一个上游,但不会永久更改上游的优先级或可用性。管理员可以从 MaaS → 模型 → 已发布模型 配置已发布模型。外部模型服务需要单独导入,然后选择为上游;外部服务页面不再为每个提供商模型创建单独的已发布模型。
要使自托管的 InferenceService 或 LLMInferenceService 可供选择,请使用 maas.alauda.io/available: "true" 对其进行标记。
选择指南
- MaaS 管理员指南 — 发布和导入模型、创建订阅、配置配额和防护措施,以及查看报告。
- MaaS 用户指南 — 创建 API 密钥、调用已订阅模型,以及查看个人配额和使用情况。
- MaaS 组件扩缩容 — 对 Gateway、Authorino、速率限制器以及 Guardrail 引擎和 shim 进行扩缩容。
- MaaS 常见问题 — 排查转发到非默认端口上的外部模型服务时遇到的问题。
相关主题
- 推理服务 — 创建可选作 MaaS 上游的
InferenceService或LLMInferenceService资源。 - 对使用者进行身份验证 — 对调用方进行身份验证,并将身份传递到网关策略。
- 配置令牌配额 — 配置在推理网关执行的基于令牌的配额限制。
- 计量令牌使用量 — 了解如何报告令牌消耗情况。
- 路由到 LLM 提供商 — 通过受控网关路由外部提供商。