介绍

Model as a Service(MaaS)通过兼容 OpenAI 的 API 为大型语言模型提供托管网关。它为平台团队提供了一种一致的方式来发布模型、组合多个上游、授予访问权限、强制执行令牌配额并了解使用情况,同时应用开发人员可以使用 API 密钥调用他们已订阅的模型。

MaaS 基于 Alauda Build of Envoy Gateway、Alauda AI Platform Gateway 和 Authorino 构建。Envoy Gateway 提供 Kubernetes Gateway API 基础,Agent Router 提供模型感知路由和令牌计量,Authorino 对请求进行身份验证。Alauda AI Platform 通过 envoyGateway、envoyAIGateway 和 authorino 组件管理和安装这些组件,这些组件属于 default AmlCluster;请参阅 安装 Alauda AI Platform。

为什么使用 MaaS?

MaaS 将模型服务与模型使用分离:

  • 模型所有者可以将推理服务作为 MaaS 上游提供,而无需公开其内部路由详细信息。
  • 管理员可以发布一个由一个或多个推理服务或外部提供商支持的面向客户端的模型。
  • 开发人员只需使用一个兼容 OpenAI 的网关,无需了解每个后端的 URL 和身份验证方法。
  • 平台团队可以强制执行按模型设置的令牌配额,并按用户、订阅、模型和令牌类型查看使用情况。

MaaS 可以通过同一个网关同时公开平台托管的推理服务和外部兼容 OpenAI 的模型提供商。

请求流程

对于每个请求,MaaS 会执行以下检查:

  1. 调用方提供 MaaS API 密钥并通过身份验证。
  2. 调用方通过有效订阅拥有对所请求客户端模型的访问权限。
  3. 该用户和模型的订阅仍有可用令牌配额。
  4. 网关根据优先级和权重选择一个可用的已配置上游;如果配置了提供商模型名称,则发送该名称,并记录模型服务返回的实际令牌使用量。

未经身份验证或未获授权的请求会返回 401 或 403。超出订阅配额的请求会返回 429。

配额按用户而非 API 密钥强制执行。同一用户拥有的多个 API 密钥共享该用户在某个订阅和模型中的可用额度。

主要概念

概念用途
已发布模型MaaS 公开的面向客户端的模型,订阅会引用该模型。在 2.9 中,一个已发布模型可以有多个上游。
客户端模型名称在请求的 model 字段中发送的稳定名称。该名称用于订阅、授权、配额和使用情况报告。
上游为已发布模型提供服务的 InferenceService、LLMInferenceService 或外部 AIServiceBackend。
提供商模型名称发送到特定上游的模型名称。对于外部提供商,该名称可以不同于客户端模型名称。
订阅访问和配额单位。它将用户绑定到已发布模型,并定义每个模型的令牌限制。
API 密钥用于调用已订阅模型的开发人员凭证。明文密钥仅在创建时显示一次。
使用情况向管理员以及开发人员本人显示的令牌和请求消耗情况。
防护措施可附加到订阅中模型的可选内容检查。

MaaS 在 2.9 中发布模型

已发布模型由使用 maas.alauda.io/v1alpha2 API 的 MaaSModelRef 表示。以下示例将面向客户端的模型与其上游分开。应用前,请将资源引用替换为现有的兼容服务。必须将自托管服务标记为可用于 MaaS,并且外部服务必须已导入 aml-maas。

apiVersion: maas.alauda.io/v1alpha2
kind: MaaSModelRef
metadata:
  name: team-chat
  namespace: aml-maas
spec:
  clientModelName: team-chat
  backends:
    - name: primary
      backendRef:
        kind: LLMInferenceService
        name: qwen-primary
        namespace: inference
      priority: 0
      weight: 100
    - name: fallback
      backendRef:
        kind: AIServiceBackend
        name: external-openai-compatible
        namespace: aml-maas
      priority: 1
      weight: 100
      upstreamModelName: provider-chat-model

在应用请求中使用 clientModelName。除非有意将其设置为相同名称,否则不要使用 Kubernetes 资源名称。较低的 priority 更为合适;weight 会在优先级相同的上游之间分配流量。需要时,在已发布模型上配置重试和故障转移;这些设置仅应用于当前请求,并且可能将重试转移到另一个上游,但不会永久更改上游的优先级或可用性。管理员可以从 MaaS → 模型 → 已发布模型 配置已发布模型。外部模型服务需要单独导入,然后选择为上游;外部服务页面不再为每个提供商模型创建单独的已发布模型。

要使自托管的 InferenceService 或 LLMInferenceService 可供选择,请使用 maas.alauda.io/available: "true" 对其进行标记。

选择指南

  • MaaS 管理员指南 — 发布和导入模型、创建订阅、配置配额和防护措施,以及查看报告。
  • MaaS 用户指南 — 创建 API 密钥、调用已订阅模型,以及查看个人配额和使用情况。
  • MaaS 组件扩缩容 — 对 Gateway、Authorino、速率限制器以及 Guardrail 引擎和 shim 进行扩缩容。
  • MaaS 常见问题 — 排查转发到非默认端口上的外部模型服务时遇到的问题。

相关主题