安装 KServe
目录
前提条件必需依赖项安装说明上传 operator安装 operator验证创建 KServe 实例验证Envoy Gateway 配置Envoy AI Gateway 配置KServe Gateway 配置GIE (gateway-api-inference-extension) 配置升级 Alauda Build of KServe验证前提条件
在安装 Alauda Build of KServe 之前,需要确保已安装以下依赖项:
必需依赖项
Alauda build of Envoy Gateway 已原生集成到 ACP 4.2 中。对于运行较早版本的环境(包括 ACP 4.0 和 4.1),请联系 Customer Support 获取兼容性和安装指导。
安装说明
- 必需依赖项:在安装 Alauda Build of KServe 之前,必须先安装所有必需依赖项。
- GIE 集成:GIE 默认已打包并启用。如果你的环境中已单独安装了 GIE,请在 operator 配置中将
gie.builtIn设置为false,以禁用内置安装。
上传 operator
下载 Alauda Build of KServe Operator 安装文件(例如,kserve-operator.ALL.xxxx.tgz)。
使用 violet 命令将其发布到平台仓库:
安装 operator
在 管理员 视图中:
-
点击 Marketplace / OperatorHub。
-
在控制台顶部,从 Cluster 下拉列表中选择要安装 KServe Operator 的目标集群。
-
搜索并选择 Alauda Build of KServe,然后点击 Install。
将弹出 Install Alauda Build of KServe 窗口。
-
保持 Channel 不变。
-
检查 Version 是否与要安装的 Alauda Build of KServe 版本一致。
-
保持 Installation Location 不变,默认应为
kserve-operator。 -
将 Upgrade Strategy 选择为 Manual。
-
点击 Install。
验证
确认 Alauda Build of KServe 卡片显示以下状态之一:
Installing:正在安装中;请等待其变为Installed。Installed:安装已完成。
创建 KServe 实例
operator 安装完成后,创建一个 KServe 自定义资源以部署 KServe 实例。
切换到 YAML view 并应用以下配置,然后根据你的环境调整标注字段:
spec.namespace— KServe 组件部署所在的 Kubernetes namespace。默认值:kserve。global.clusterName— 在平台中注册的集群名称。示例:business-1。global.deployFlavor—single-node表示非 HA,ha-cluster表示生产环境 HA。global.platformAddress— Alauda Container Platform 管理端点地址。示例:https://192.168.131.112。preset.GIE— 用于增强 AI 能力的内置 Gateway API Inference Extension。请参见 GIE 配置。preset.envoy_ai_gateway— 用于智能路由和策略执行的 AI 专用 gateway。请参见 Envoy AI Gateway 配置。preset.envoy_gateway— 底层基于 Envoy 的 gateway 基础设施。请参见 Envoy Gateway 配置。preset.kserve_gateway— 用于 KServe 推理服务的 ingress gateway。请参见 KServe Gateway 配置。global.registry.address— 目标集群 (global.clusterName) 用于拉取 KServe 基础设施和运行时镜像的容器镜像仓库端点。 示例:registry.alauda.cn:60070。kserve.controller.deploymentMode— 对于 scale-to-zero 等无服务器特性设置为Knative,对于原生 Kubernetes 部署设置为Standard。kserve.controller.gateway.domain— 用于 ingress gateway 暴露 inference service 端点的域名。请使用泛域名,例如*.example.com。kserve.storage.caBundleConfigMapName— 包含存储连接所需 CA bundle 的 ConfigMap 名称。
验证
检查 KServe 资源的状态:
当状态显示 DEPLOYED: True 时,表示实例已就绪。
Envoy Gateway 配置
Envoy AI Gateway 配置
KServe Gateway 配置
GIE (gateway-api-inference-extension) 配置
升级 Alauda Build of KServe
- 使用
violet工具上传新版本的 Alauda Build of KServe operator 包。 - 转到
Administrator->Marketplace->OperatorHub页面,找到 Alauda Build of KServe,然后单击 Confirm 以应用新版本。
验证
升级后,确认 Alauda Build of KServe 卡片显示 Installed,并验证 KServe 实例状态: