安装 InferNex Bridge
本指南介绍适用于 arm64 集群的 Alauda Build of InferNex Bridge v26.6.0,该版本已发布到 OLM alpha 频道。
目录
前提条件必需依赖此 Operator 安装的 CRDRuntime 模板和镜像配置 ImageWhiteList准备模型可选依赖可选的 EagleEye 可观测性上传 Operator安装 Operator验证Community 示例升级 Alauda Build of InferNex Bridge验证回滚前提条件
在安装 Alauda Build of InferNex Bridge 之前,请确保目标集群具备所需的平台和推理依赖。
必需依赖
InferNexService 模式不要求用户先安装 InferNex 主 chart。operator 会安装 InferNex Bridge 控制平面;服务模板、推理 runtime 镜像、模型文件以及特定功能所需的 CRD 必须在部署推理服务之前单独准备。
此 Operator 安装的 CRD
Alauda Build of InferNex Bridge OLM bundle 会安装其受管弹性编排组件使用的两个产品 API 和三个 CRD:
以下 CRD 不会由此 OLM bundle 安装。请根据下面所示要求单独安装:
rolebasedgroups.workloads.x-k8s.io CRD 由上游 RoleBasedGroup (RBG) 项目提供。它是一个条件依赖项,Deployment 或 LeaderWorkerSet 目标不需要它。要安装上游 RBG v0.7.0 controller 和 CRD,请使用带版本的 release manifest:
预期结果为 v1alpha2 served=true storage=true。该 manifest 使用 docker.io/rolebasedgroup/rbgs-controller:v0.7.0-888ade7,其中提供了 arm64 镜像。对于断开连接的集群,请先将该镜像镜像到集群可访问的 registry,并在应用之前更新 manifest 中的镜像引用。
如需选择其他版本,请查看上游 RBG releases。
启用受管的 Tidal、ElasticScaler 或 ResourceScalingGroup 组件时,会部署其 controller 工作负载。诸如 Tidal 和 ElasticScaler 之类的扩缩容策略资源,仍必须由用户或平台工作流单独创建。
Runtime 模板和镜像
operator 包会同步其声明的 relatedImages,但 OLM runtime 模板会保留其社区源引用。在创建推理服务之前,请配置平台镜像 allowlist 和重写规则,以便这些源引用在目标集群 registry 中解析为同步后的镜像。
模型服务镜像 hub.oepkgs.net/openfuyao/ascend/vllm-ascend:v0.18.0 不包含在 operator 的 relatedImages 中。在部署 NPU 推理服务之前,请获取 arm64 镜像,将其上传或镜像到目标 registry,并为完整的源引用添加镜像重写规则。请验证解析后的 Pod imageID;工作负载规格中仍保留源引用并不表示重写失败。
配置 ImageWhiteList
平台在上传 InferNex Bridge package 时会创建一个由 operator 管理的 ImageWhiteList。请勿手动创建或删除此对象。由 operator 管理的 ImageWhiteList 对象会由 olm-registry 进行调谐,删除后可能会被重新创建。
在创建推理服务之前,请确认生成的对象包含所需的源镜像引用以及源到目标的重写规则。请保留已经存在的无关条目。
下表显示了预期的仓库映射。每条规则都会保留原始镜像 tag。
最终对象中相关部分应如下所示。完整对象还包含其他 package 镜像和由平台管理的条目。
必须显式添加 vllm-ascend 条目,因为该镜像不属于 operator 的 relatedImages。在创建推理工作负载之前,请先将 arm64 镜像导入目标 registry。例如:
对于 BusyBox,请在 repoList 中同时保留 busybox:1.36.1 和 docker.io/library/busybox:1.36.1,但不要添加自定义 BusyBox 重写规则。平台的 _default 规则会处理短名称和 Docker Hub 规范化。
你可以使用以下命令备份并编辑由 operator 管理的对象。如果该对象名称不同,可使用 kubectl get imagewhitelist -A 查找。
工作负载规格中可能仍会显示社区源镜像。只有当实际 Pod imageID 指向目标 registry 时,重写才算成功。package 内组件和 package 外 runtime 的解析方式应如下所示:
验证导入镜像的架构,并检查工作负载镜像 ID:
准备模型
模型制品不包含在 InferNex Bridge operator package 中。当选择 OCI 模型存储时,请使用 Alauda AI 模型目录准备一个 ModelCar。参见 模型存储。
Alauda OLM bundle 会为该版本示例中使用的 KServe LLMInferenceService API 版本注册 InferNex Bridge admission webhook,包括 serving.kserve.io/v1alpha2。当在 KServe LLMInferenceService 上设置 infernex.io/runtime: "true" 时,该 webhook 用于在准入阶段应用兼容性补丁;它本身不会创建或调谐 LLMInferenceService 资源。
可选依赖
可选的 EagleEye 可观测性
Alauda OLM 模板默认禁用 EagleEye。禁用 EagleEye 不会影响推理引擎、aggregate 或 prefill-decode 部署模式、Mooncake、cache-indexer 或 PD-Orchestrator。它只会禁用以下可选可观测性工作负载:
在启用 EagleEye 之前,请确认 NATS 已具有就绪的 Service 和 endpoint:
EagleEye init container 会连接到 nats.nats:4222。如果该 endpoint 不可用,已启用的 EagleEye Pod 将停留在 init 阶段。
可在 InferNexService 或引用的 InferNexServiceConfig 中显式启用 EagleEye:
应用资源后,请验证推理服务命名空间中的可选工作负载:
预期工作负载包括 EagleEye hardware diagnosis Deployment、hardware monitor DaemonSet 以及 network performance exporter DaemonSet。如果不需要 EagleEye,请将这三个子开关都保持为 false。
上传 Operator
从你的 Alauda 产品交付渠道获取 arm64 安装包:
infernex-bridge.alpha.arm64.v26.6.0.tgz。
使用 violet 命令将其发布到平台仓库:
安装 Operator
在 管理员 视图中:
- 点击 Marketplace / OperatorHub。
- 在控制台顶部,从 Cluster 下拉列表中选择要安装 InferNex Bridge Operator 的目标集群。
- 搜索并选择 Alauda Build of InferNex Bridge,然后点击 Install。
- 选择
alphaChannel。 - 选择版本
v26.6.0。 - 保持 Installation Location 不变,默认应为
infernex-system。 - 在 Upgrade Strategy 中选择 Manual。
- 点击 Install。
验证
确认 Alauda Build of InferNex Bridge 磁贴显示以下状态之一:
Installing:安装正在进行中;请等待其变为Installed。Installed:安装已完成。
验证 operator controller 和 webhooks 是否正在运行:
controller Pod 应为 Running,所有五个捆绑的 CRD 都应已建立,并且 LLMInferenceService mutating webhook 应包含 v1alpha2。
Community 示例
如需查看由 Community 维护的示例,请参见 InferNex Bridge v26.6.0 示例。
升级 Alauda Build of InferNex Bridge
-
备份现有自定义资源:
-
使用
violet工具上传新版本的 Alauda Build of InferNex Bridge operator package。 -
进入
Administrator->Marketplace->OperatorHub页面,找到 Alauda Build of InferNex Bridge,查看目标版本,然后点击 Confirm 以应用升级。
验证
升级后,确认 Alauda Build of InferNex Bridge 磁贴显示 Installed,并验证 controller 和 CRD 状态:
回滚
仅当上一版本的 CRD 与集群中已存储的自定义资源兼容时,才使用旧 package。在 OperatorHub 中,选择之前可用的版本,并确认手动升级操作。如果之前的版本不可用,请先使用 violet 上传其安装包。
回滚后,请验证 controller、CRD、推理服务、runtime 镜像 ID 以及一个具有代表性的推理请求。在自定义资源仍然存在时,不要删除这五个捆绑的 CRD;删除它们也会删除已存储的自定义资源。