MaaS 管理员指南
本指南介绍平台管理员如何管理 Model as a Service (MaaS):导入模型服务、创建包含一个或多个上游的已发布模型、创建订阅、实施令牌配额、配置可选的防护措施,以及查看用量。
如需了解产品概览,请参阅 Model as a Service (MaaS)。如需了解开发人员工作流,请参阅 MaaS 用户指南。
让平台推理服务可供 MaaS 使用
在 Alauda AI Platform 2.9 中,推理服务是一个上游候选项,本身并不是已发布的 MaaS 模型。支持 InferenceService 和 LLMInferenceService。
- 打开包含该推理服务的项目或命名空间。
- 打开服务管理页面。
- 在服务操作中选择 Enable for MaaS,以设置
maas.alauda.io/available: "true"。
随后,该服务便可在 MaaS → Models → Published Models 中选作上游。若要取消其后续可选状态,请将可用性标签设为 "false"。在从所有使用该服务的已发布模型中移除之前,无法禁用被引用的服务。
此操作不会创建或删除 MaaSModelRef。已发布模型、其客户端名称及路由配置均在 Published Models 页面集中管理。
导入外部模型服务
当模型托管在平台外部,或未由 InferenceService 或 LLMInferenceService 表示时,请使用外部模型服务。2.9 控制台支持导入 OpenAI 兼容端点,并可选配 Bearer API 密钥;这并非原生 Azure、Bedrock 或 GCP 凭证配置工作流。
- 在 Administrator 视图中,打开 MaaS → Models。
- 在 Model Services 选项卡中,单击 Import External Model Service。
- 输入服务的小写名称。
- 输入提供商的 OpenAI 兼容端点,并在需要时包含其 API 基路径。例如,当提供商要求使用
/v1请求时,请使用https://host/v1。 - 如果提供商需要上游 API 密钥,请输入该密钥。对于不需要凭证的端点,请留空。
- 单击 Create。
API 密钥存储在 Kubernetes Secret 中,并由网关在调用提供商时注入。使用方的 MaaS API 密钥与提供商的上游密钥是不同的凭证:开发人员只会获得 MaaS 密钥。
创建已发布模型
将自托管服务设为 MaaS 可用或导入外部服务后,请集中创建已发布模型。旧版服务行中的 Publish Models 工作流已移除。
- 打开 Published Models 选项卡。
- 单击 Add Model。
- 输入面向客户端的模型名称。
- 选择已启用 MaaS 的
InferenceService或LLMInferenceService,或者已导入的AIServiceBackend。对于外部服务,请选择其提供商模型名称;对于自托管服务,服务模型名称会从服务中发现。 - 根据需要,使用 Add Upstream 添加其他兼容的自托管服务或外部服务。
- 根据需要配置优先级、权重和重试/故障转移设置。
- 保存已发布模型。
一个已发布模型可以组合多个提供商或自托管服务。例如,客户端可以调用 team-chat,同时由自托管 Qwen 服务作为主上游,并由 OpenAI 兼容的提供商提供 provider-chat-model 作为回退。请选择请求和响应能力兼容的上游。Published Models 列表会显示客户端模型名称、上游数量及就绪状态,以及整体阶段。
配置上游优先级、权重和重试
- 对首选上游使用
priority: 0,并对回退层级使用更大的值。 - 使用
weight在优先级相同的上游之间分配流量。它是相对值,而非独立百分比。 - 如果请求应在同一请求中故障转移,请在已发布模型上配置重试触发条件和重试次数限制。
- 重试不会永久更改上游的优先级或运行状况。响应开始后,流式响应无法切换到其他上游。
- 重试可能导致提供商多次处理同一请求;只有在请求语义允许时才使用重试。
创建订阅
订阅是模型访问权限和令牌配额的计量单位。用户必须是包含该模型的订阅的订阅者,才能调用该模型。
- 在 Administrator 视图中,打开 MaaS → Subscriptions。
- 单击 Create Subscription。
- 输入订阅名称。
- 按用户名添加一个或多个订阅者。
- 添加一个或多个已发布模型。通过面向客户端的模型名称选择模型;同一客户端模型名称不能在同一订阅中重复添加。
- 为每个模型至少配置一个令牌限制和时间窗口。
- 可选择为同一模型添加更多配额层级。
- 单击 Save。
只有将用户列为订阅者时,该用户才能在 My Subscriptions 中看到此订阅。将每个用户的用户名添加到 Subscribers,即可向该用户授予访问权限。若要向所有已通过身份验证的用户开放订阅,请将 * 添加为订阅者。* 值是通配符,而不是实际用户名;用户仍需有效的 MaaS API 密钥才能调用模型。
对于每个模型,表单接受以百万令牌为单位的限制,以及 Minute、Hour 或 Day 等时间窗口。例如,可以设置每小时 100M 个令牌和每天 1000M 个令牌。所有已配置的层级都会生效。
一个订阅可以包含多个模型,且每个模型可以有不同的限制。这样便可提供不同的访问层级,而无需为每个模型创建单独的网关。如果一个已发布模型有多个上游,优先级和权重应在已发布模型上配置,而不是在订阅上配置。
订阅列表会显示订阅名称、模型、订阅者和当前阶段。使用行操作菜单可查看、编辑或删除订阅。
配置护栏
MaaS 可以选择使用已配置的内容护栏检查模型请求和响应。
启用护栏
- 打开 MaaS → Guardrails。
- 单击 Edit settings。
- 启用 guardrails。
- 选择失败策略:
- 如果护栏引擎无法完成检查,End request on guardrails failure (
FailClosed) 会拒绝或终止请求。 - 如果护栏引擎发生故障,Ignore guardrails on failure (
FailOpen) 会允许请求继续。
- 如果护栏引擎无法完成检查,End request on guardrails failure (
- 保存设置。
禁用护栏会移除数据平面集成。订阅中保留的护栏设置会在全局功能禁用期间失效。
创建护栏配置
- 在 Guardrails 页面中,单击 Create Config。
- 输入配置 ID,使用小写字母、数字和连字符。
- 配置护栏模型,包括模型类型、模型名称和基础 URL。
- 可为护栏模型添加 API 密钥。凭证会以 Kubernetes Secrets 的形式存储,并通过环境变量提供给护栏引擎。
- 编辑
config.yaml内容。 - 如果配置需要 Colang 流程,请编辑
rails.co内容。 - 单击 Save。
一个配置可以包含多个护栏模型,但每种模型类型在配置中必须唯一。Guardrails 列表会显示配置是否已附加到订阅。
将护栏附加到订阅模型
创建或编辑订阅时,为某个模型启用护栏,并选择一个可用的护栏配置。此设置按模型应用,因此同一订阅中的不同模型可以使用不同配置,也可以不使用护栏。
查看用量和报告
订阅管理用量
Subscriptions 页面会显示订阅及其已配置的限制。在可用时,使用订阅的用量视图查看所选订阅和模型的令牌消耗情况。
用量报告
打开 MaaS → Report,查看管理员级别的用量:
- 选择时间范围:Last 1 day、Last 7 days、Last 30 days、Last 90 days 或 Last 1 year。
- 可选择一个订阅。
- 按用户名搜索。
- 单击刷新以重新加载数据。
报告会显示:
- 用户名
- 订阅
- 客户端模型
- 上游模型
- 令牌总数
- 输入令牌
- 缓存令牌
- 输出令牌
- 推理令牌
单击 Export CSV 可导出筛选后的报告。导出对话框允许按订阅、用户、API 密钥、客户端模型、上游模型或旧版模型对数据分组,并按日或月对时间分组。
用量数据用于运维可见性、配额监控和成本分摊,不可用作结算记录。