发版日志
Alauda AI Platform 2.9.0 (Fast)
Alauda AI Platform 2.9.0 是一个 Fast 版本。这些说明总结了自 Alauda AI Platform 2.8 以来在平台、模型服务、训练和 MLOps 方面引入的主要变更。
升级支持
Alauda AI Platform 2.9.0 Fast 不支持从之前的版本升级,包括 2.8。请将其作为全新安装进行部署。
Alauda AI Platform 2.8 以来的变更
- Alauda Build of Llama Stack:已弃用,不建议使用。
AmlCluster不再管理此组件。可考虑使用 Ogx 作为替代方案;Llama Stack 的部署和使用指南已移除。 - 平台配置:管理员视图新增了“平台配置”页面,可通过 UI 编辑大多数受支持的
AmlCluster设置,包括组件管理状态和特定于组件的配置。高级或不受支持的字段仍可通过 YAML 视图进行配置。 - 推理服务管理:LLM 推理服务和常规推理服务分别列出和管理,明确区分二者不同的配置和生命周期选项。
- LLM 推理配置:LLM 推理服务支持预填充/解码(P/D)分离,以及可配置的并行参数,包括所选运行时支持的张量、流水线、数据和专家并行。
- Alauda Build of InferNex Bridge:新增通过
defaultAmlCluster管理infernexBridge组件的功能。 - Alauda AI Platform NPU Serving Runtime:新增版本为
v1.0.0的组件,通过defaultAmlCluster中的servingRuntimeNPUOperator进行管理,并包含 vLLM-Ascendv0.23.0镜像。 - Alauda AI Platform Gateway:产品版本更新至
v1.1.0-1。其上游项目现名为 Agent Router,前身为 Envoy AI Gateway。 - Alauda AI Platform Inference Management:产品版本更新至
v0.20.0-1,基于 KServe 构建。 - Alauda AI Platform Serving Runtime:Serving Runtime 升级至版本
v1.2.2,其 vLLM 镜像升级至v0.23.0。不再使用单独的 llm-d 镜像;llm-d 复用 vLLM 镜像。
MaaS 使用变更
- 已发布模型使用
MaaSModelRefv1alpha2:一个已发布的客户端模型现在可以有多个上游。上游可以是InferenceService、LLMInferenceService或外部AIServiceBackend。 - 模型发布集中管理:管理员在 MaaS → Models → Published Models 中创建和编辑模型。导入外部模型服务仅会创建外部后端;不再从服务页面直接发布单独的 MaaS 模型。
- 推理服务可作为上游候选项:模型所有者需先使用
maas.alauda.io/available: "true"标记InferenceService或LLMInferenceService,之后才能将其选为上游。 - 客户端和提供方模型名称相互独立:
clientModelName是应用程序在请求的model字段中发送的名称,也是订阅、授权、配额和使用情况报告所用的名称。上游可以为提供方指定不同的upstreamModelName。 - 多上游路由:已发布模型支持配置上游优先级和权重,可用于主备和同优先级流量分配场景,并支持请求级重试和故障转移设置。
- 订阅通过客户端模型名称标识模型:同一客户端模型名称在一个订阅中不能重复添加,即使它由不同的
MaaSModelRef资源提供。 - 使用情况报告区分模型名称:管理员报告和 CSV 导出可以区分客户端模型和上游模型。
已知问题
- 使用 VictoriaMetrics 收集 Serverless 模式下运行的推理服务的监控数据时,推理服务可能无法缩容至零。