升级

本页面介绍如何升级已安装的 HAMi 产品线组件:Alauda Build of HAMi、特定后端的 Alauda Build of HAMi Ascend Device Plugin 以及可选的 Alauda AI Infrastructure Accelerator Virtualization Console。

升级前,请确认活动后端路径以及工作负载当前使用的资源键。升级后的后端支持情况应以当前交付包和版本页面为准。

升级前

  1. 在版本和组件中检查支持的目标组合,并在Release Notes中查看特定版本的变更。

  2. 在更改已安装版本前,使所有目标产品包在 ACP 中可用。

  3. 记录当前 Hami 自定义资源值或旧版集群插件表单值、活动后端、节点标签、RuntimeClass、资源键以及 device-plugin 所有者。

  4. 备份包含节点特定配置的 HAMi ConfigMap。使用动态 MIG 或其他直接 ConfigMap 自定义时,必须执行此操作:

    kubectl -n <hami-namespace> get configmap hami-device-plugin \
      hami-scheduler-device -o yaml > hami-config-before-upgrade.yaml
  5. 如果已安装 Ascend Device Plugin,请保存其自定义资源:

    kubectl -n <hami-namespace> get hamiadp hami-ascend-device-plugin \
      -o yaml > hami-adp-before-upgrade.yaml
  6. 如果已安装 HAMi-WebUI,请记录其 Prometheus 地址来源和 NodePort 选择。应根据当前监控 Secret 重新生成身份验证值,而不是存储解码后的用户名或密码。

按照目标兼容性矩阵要求的顺序升级组件。当目标 HAMi 版本要求特定的 HAMi-WebUI 版本时,请在升级 HAMi 之前或同时升级 HAMi-WebUI。将 Ascend Device Plugin 作为单独的 OperatorHub 操作进行升级。

升级 HAMi

重要变更(v2.10)

变更必需操作
HAMi v2.10.0 作为独立的 OLM Operator 交付,而不是对早期集群插件的更新。不要在同一集群中安装两个所有者。备份现有配置,停止或迁移 GPU 工作负载,通过 ACP 移除旧版集群插件,然后安装新的 Operator 并创建一个 Hami 自定义资源。
Operator 管理 HAMi Helm release。通过其 Subscription 和 InstallPlan 进行升级。不要对 Operator 管理的 release 运行 helm upgrade。
集群提供的 scheduler 和 runtime 镜像仍属于外部依赖项。确认目标集群提供兼容的镜像,并在升级后验证运行中 Pod 的镜像 ID。

对于现有的 v2.10 Operator 安装,请通过 OperatorHub 升级 Operator 包,并在需要时批准生成的 InstallPlan。保留 Hami 自定义资源,将其值与目标版本进行比较,并在调和后验证 CSV、Operator、scheduler、device plugin 以及具有代表性的 GPU 工作负载。

重要变更(v2.9)

变更必需操作
HAMi v2.9.x 使用 Alauda Build of HAMi-WebUI v1.10.3 支持的新指标名称。在升级 HAMi v2.9.x 之前或同时将 HAMi-WebUI 升级到 v1.10.3。不要将 HAMi-WebUI v1.10.0 与 HAMi v2.9.x 一起使用。
v2.9.0 交付包完全支持 scheduler 自定义镜像路径。如果集群需要显式的 scheduler 镜像,请配置 scheduler.kubeScheduler.customImage;为空时,将根据目标集群 Kubernetes 版本和配置的 registry 生成镜像。
Alauda 交付包为带污点加速器节点上的 HAMi scheduler 和 device-plugin 工作负载配置了标准容忍度。保持节点污点与容忍度和目标集群一致。升级后,确认两个工作负载均已调度并处于就绪状态。
正式插件包将目标集群的 scheduler 镜像与 HAMi 所有的包镜像分开管理。不要将集群的 scheduler 镜像添加到 HAMi 包所有的相关镜像中;确认目标集群提供自己的 scheduler 镜像。

重要变更(v2.8)

变更必需操作
devicePlugin.nvidianodeSelector 已重命名为 devicePlugin.nvidiaNodeSelector。如果直接覆盖 Helm 值,请在升级前更新键名。
监控资源配置已从 devicePlugin.vgpuMonitor.resources 移至 devicePlugin.monitor.resources。如果自定义了监控资源,请将值移至新路径。
早期的 Alauda Build of HAMi-WebUI v1.5.0 与 HAMi v2.8 不兼容。将 Alauda Build of HAMi-WebUI 升级到为同一产品线交付的 v1.10.x 版本。
Ascend 支持由 Enable Ascend 插件选项控制。当目标 HAMi 部署使用 Ascend NPU 或 Ascend vNPU 时,显式启用 Enable Ascend。该选项默认禁用。

不要将 release 分支安装页面作为厂商驱动、device plugin 或 exporter 所有权的依据。对于这些组件,请使用当前 NVIDIA GPU 或 Ascend NPU 厂商基础文档。

重要变更(v2.5 -> v2.6)

版本参数可用性升级后的必需操作
HAMi v2.5NVIDIA Runtime Class Name 和 Create NVIDIA Runtime Class 未包含在插件表单中。不适用
HAMi v2.6在新节点上部署插件实例时,必须配置这些参数。更新插件部署参数:
- NVIDIA Runtime Class Name:hami-nvidia
- Create NVIDIA Runtime Class:true
NOTE

从 v2.5 升级到 v2.6 不应影响现有应用。组件升级后,请对应用使用滚动更新,以减少意外的运行时差异。

操作步骤

  1. 如果目标 HAMi 版本需要更新版本的 ACP,请先升级 ACP。
  2. 将 Alauda AI Infrastructure Accelerator Virtualization 的目标 Operator 包上传到 ACP。
  3. 确认所选后端仍受目标包支持,尤其是 Ascend NPU 或 Ascend vNPU 路径。
  4. 如果集群仍使用旧版 HAMi 集群插件,请按照上述包表单迁移步骤操作。否则,转到 Administrator -> Marketplace -> OperatorHub,切换到目标集群,然后通过其 Subscription 和 InstallPlan 升级 HAMi Operator。
  5. 从验证中验证 CSV、Operator Deployment、Hami 自定义资源、组件 Pod、节点可分配资源键、ACP 配额元数据以及工作负载调度。

只有在将备份的节点自定义配置与目标版本生成的配置进行比较后,才能重新应用该配置。不要使用旧版 schema 整体替换新的 ConfigMap。

升级 HAMi Ascend Device Plugin

重要变更(v1.4.1)

变更必需操作
此 release package 是适用于 ACP v4.1-v4.4 的 ARM64 Operator Bundle。升级前确认目标 ACP 版本、架构、NPU Operator 基础版本、Driver 和 CANN workload image。
HAMi Ascend Device Plugin 是独立于原生 Ascend Device Plugin 的单独 owner。升级前停止或迁移原生 Ascend Device Plugin workload。保留 NPU Operator Driver、OCI Runtime 和 ascend RuntimeClass 可用。
组件命名空间属于为集群选择的 HAMi 安装。升级期间保留现有的 HAMiAscendDevicePlugin CR 及其组件命名空间。命名空间迁移是单独的操作。
  1. 确认目标 Operator Bundle 支持目标 HAMi 版本和所选 Ascend 路径。
  2. 通过 OperatorHub 升级 Alauda Build of HAMi Ascend Device Plugin。如果 Subscription 使用手动批准,请审核并批准生成的 InstallPlan。
  3. 除非 release notes 要求更改字段,否则保留现有的 HAMiAscendDevicePlugin 自定义资源及其组件命名空间。
  4. 验证 CSV 达到 Succeeded,自定义资源报告 Deployed,并且 DaemonSet 在所选节点上变为 Ready。
  5. 确认原生 Ascend Device Plugin 在整个更新过程中保持停止状态。

升级 HAMi-WebUI

v1.3.0 将 HAMi-WebUI 从早期的集群插件变更为 Operator Bundle。这两种交付形式之间不支持原位升级。

  1. 记录现有 Prometheus 地址、身份验证源、NodePort 选择以及计划使用的 WebUI 设置。
  2. 通过 ACP 卸载旧版 HAMi-WebUI 集群插件。
  3. 确认其 operator、WebUI workload、Service、配置资源和插件安装对象均已移除。保留共享的 Prometheus 资源和不相关的 HAMi workload。
  4. 通过全新的 Subscription 和 InstallPlan 安装 v1.3.0 hami-webui-operator package。
  5. 等待 hami-webui-operator.v1.3.0 达到 Succeeded,并等待 operator Deployment 变为 Ready。
  6. 在 cpaas-system 中创建 HamiWebUI 自定义资源,恢复记录的 Prometheus 和服务设置。
  7. 验证 WebUI Pod 变为 Ready,并确认后端 instant-vector 查询返回带有 JSON data 数组的 HTTP 200。
  8. 全新安装后打开 WebUI 的资源概览、节点管理、卡管理和 workload 任务视图。

不要只接受页面级 smoke test。页面能够打开,但其 Prometheus 请求返回 HTTP 523,并不表示升级通过。

升级后的后端检查

升级后,验证:

  • HAMi Pod 在预期的命名空间中运行;
  • 为 HAMi 选择的节点公开预期的 HAMi 资源键;
  • ACP 配额元数据仍与用户请求的资源键匹配;
  • 相同设备未同时通过冲突的 vendor 直接插件路径公开;
  • 监控使用文档针对后端和版本记录的 exporter 路径。

对于 Ascend NPU 和 Ascend vNPU,不要假定资源键名称与早期版本相同。应以当前交付 package 和版本页面为准。

回滚条件

当目标组件无法完成 reconcile、必需的资源键消失、目标运行时路径失败,或代表性 workload 无法分配和释放设备时,应执行回滚。使用 ACP 或 OLM owner 恢复之前的组件版本及其兼容配置。降级 package 不会自动使旧版 ConfigMap 或自定义资源 schema 变得安全;仅恢复回滚版本支持的字段,并重复执行验证。

相关参考