MaaS 管理员指南

本指南介绍平台管理员如何管理 Model as a Service (MaaS):导入模型服务、创建包含一个或多个上游的已发布模型、创建订阅、实施令牌配额、配置可选的防护措施,以及查看用量。

如需了解产品概览,请参阅 Model as a Service (MaaS)。如需了解开发人员工作流,请参阅 MaaS 用户指南。

让平台推理服务可供 MaaS 使用

在 Alauda AI Platform 2.9 中,推理服务是一个上游候选项,本身并不是已发布的 MaaS 模型。支持 InferenceService 和 LLMInferenceService。

  1. 打开包含该推理服务的项目或命名空间。
  2. 打开服务管理页面。
  3. 在服务操作中选择 Enable for MaaS,以设置 maas.alauda.io/available: "true"。

随后,该服务便可在 MaaS → Models → Published Models 中选作上游。若要取消其后续可选状态,请将可用性标签设为 "false"。在从所有使用该服务的已发布模型中移除之前,无法禁用被引用的服务。

此操作不会创建或删除 MaaSModelRef。已发布模型、其客户端名称及路由配置均在 Published Models 页面集中管理。

导入外部模型服务

当模型托管在平台外部,或未由 InferenceService 或 LLMInferenceService 表示时,请使用外部模型服务。2.9 控制台支持导入 OpenAI 兼容端点,并可选配 Bearer API 密钥;这并非原生 Azure、Bedrock 或 GCP 凭证配置工作流。

  1. 在 Administrator 视图中,打开 MaaS → Models。
  2. 在 Model Services 选项卡中,单击 Import External Model Service。
  3. 输入服务的小写名称。
  4. 输入提供商的 OpenAI 兼容端点,并在需要时包含其 API 基路径。例如,当提供商要求使用 /v1 请求时,请使用 https://host/v1。
  5. 如果提供商需要上游 API 密钥,请输入该密钥。对于不需要凭证的端点,请留空。
  6. 单击 Create。

API 密钥存储在 Kubernetes Secret 中,并由网关在调用提供商时注入。使用方的 MaaS API 密钥与提供商的上游密钥是不同的凭证:开发人员只会获得 MaaS 密钥。

创建已发布模型

将自托管服务设为 MaaS 可用或导入外部服务后,请集中创建已发布模型。旧版服务行中的 Publish Models 工作流已移除。

  1. 打开 Published Models 选项卡。
  2. 单击 Add Model。
  3. 输入面向客户端的模型名称。
  4. 选择已启用 MaaS 的 InferenceService 或 LLMInferenceService,或者已导入的 AIServiceBackend。对于外部服务,请选择其提供商模型名称;对于自托管服务,服务模型名称会从服务中发现。
  5. 根据需要,使用 Add Upstream 添加其他兼容的自托管服务或外部服务。
  6. 根据需要配置优先级、权重和重试/故障转移设置。
  7. 保存已发布模型。

一个已发布模型可以组合多个提供商或自托管服务。例如,客户端可以调用 team-chat,同时由自托管 Qwen 服务作为主上游,并由 OpenAI 兼容的提供商提供 provider-chat-model 作为回退。请选择请求和响应能力兼容的上游。Published Models 列表会显示客户端模型名称、上游数量及就绪状态,以及整体阶段。

配置上游优先级、权重和重试

  • 对首选上游使用 priority: 0,并对回退层级使用更大的值。
  • 使用 weight 在优先级相同的上游之间分配流量。它是相对值,而非独立百分比。
  • 如果请求应在同一请求中故障转移,请在已发布模型上配置重试触发条件和重试次数限制。
  • 重试不会永久更改上游的优先级或运行状况。响应开始后,流式响应无法切换到其他上游。
  • 重试可能导致提供商多次处理同一请求;只有在请求语义允许时才使用重试。

创建订阅

订阅是模型访问权限和令牌配额的计量单位。用户必须是包含该模型的订阅的订阅者,才能调用该模型。

  1. 在 Administrator 视图中,打开 MaaS → Subscriptions。
  2. 单击 Create Subscription。
  3. 输入订阅名称。
  4. 按用户名添加一个或多个订阅者。
  5. 添加一个或多个已发布模型。通过面向客户端的模型名称选择模型;同一客户端模型名称不能在同一订阅中重复添加。
  6. 为每个模型至少配置一个令牌限制和时间窗口。
  7. 可选择为同一模型添加更多配额层级。
  8. 单击 Save。
INFO

只有将用户列为订阅者时,该用户才能在 My Subscriptions 中看到此订阅。将每个用户的用户名添加到 Subscribers,即可向该用户授予访问权限。若要向所有已通过身份验证的用户开放订阅,请将 * 添加为订阅者。* 值是通配符,而不是实际用户名;用户仍需有效的 MaaS API 密钥才能调用模型。

对于每个模型,表单接受以百万令牌为单位的限制,以及 Minute、Hour 或 Day 等时间窗口。例如,可以设置每小时 100M 个令牌和每天 1000M 个令牌。所有已配置的层级都会生效。

一个订阅可以包含多个模型,且每个模型可以有不同的限制。这样便可提供不同的访问层级,而无需为每个模型创建单独的网关。如果一个已发布模型有多个上游,优先级和权重应在已发布模型上配置,而不是在订阅上配置。

订阅列表会显示订阅名称、模型、订阅者和当前阶段。使用行操作菜单可查看、编辑或删除订阅。

配置护栏

MaaS 可以选择使用已配置的内容护栏检查模型请求和响应。

启用护栏

  1. 打开 MaaS → Guardrails。
  2. 单击 Edit settings。
  3. 启用 guardrails。
  4. 选择失败策略:
    • 如果护栏引擎无法完成检查,End request on guardrails failure (FailClosed) 会拒绝或终止请求。
    • 如果护栏引擎发生故障,Ignore guardrails on failure (FailOpen) 会允许请求继续。
  5. 保存设置。

禁用护栏会移除数据平面集成。订阅中保留的护栏设置会在全局功能禁用期间失效。

创建护栏配置

  1. 在 Guardrails 页面中,单击 Create Config。
  2. 输入配置 ID,使用小写字母、数字和连字符。
  3. 配置护栏模型,包括模型类型、模型名称和基础 URL。
  4. 可为护栏模型添加 API 密钥。凭证会以 Kubernetes Secrets 的形式存储,并通过环境变量提供给护栏引擎。
  5. 编辑 config.yaml 内容。
  6. 如果配置需要 Colang 流程,请编辑 rails.co 内容。
  7. 单击 Save。

一个配置可以包含多个护栏模型,但每种模型类型在配置中必须唯一。Guardrails 列表会显示配置是否已附加到订阅。

将护栏附加到订阅模型

创建或编辑订阅时,为某个模型启用护栏,并选择一个可用的护栏配置。此设置按模型应用,因此同一订阅中的不同模型可以使用不同配置,也可以不使用护栏。

查看用量和报告

订阅管理用量

Subscriptions 页面会显示订阅及其已配置的限制。在可用时,使用订阅的用量视图查看所选订阅和模型的令牌消耗情况。

用量报告

打开 MaaS → Report,查看管理员级别的用量:

  1. 选择时间范围:Last 1 day、Last 7 days、Last 30 days、Last 90 days 或 Last 1 year。
  2. 可选择一个订阅。
  3. 按用户名搜索。
  4. 单击刷新以重新加载数据。

报告会显示:

  • 用户名
  • 订阅
  • 客户端模型
  • 上游模型
  • 令牌总数
  • 输入令牌
  • 缓存令牌
  • 输出令牌
  • 推理令牌

单击 Export CSV 可导出筛选后的报告。导出对话框允许按订阅、用户、API 密钥、客户端模型、上游模型或旧版模型对数据分组,并按日或月对时间分组。

用量数据用于运维可见性、配额监控和成本分摊,不可用作结算记录。