安装 KServe
目录
前提条件必需依赖安装说明上传 Operator安装 Operator验证创建 KServe 实例验证Envoy Gateway 配置Envoy AI Gateway 配置KServe Gateway 配置GIE (gateway-api-inference-extension) 配置升级 Alauda Build of KServe验证前提条件
在安装 Alauda Build of KServe 之前,需要确保已安装以下依赖:
必需依赖
Alauda build of Envoy Gateway 已在 ACP 4.2 中原生集成。对于运行较早版本的环境(包括 ACP 4.0 和 4.1),请联系客户支持获取兼容性和安装指导。
安装说明
- 必需依赖:在安装 Alauda Build of KServe 之前,必须先安装所有必需依赖。
- GIE 集成:GIE 默认已捆绑并启用。如果你的环境中已单独安装了 GIE,请在 operator 配置中将
gie.builtIn设置为false,以禁用内置安装。
上传 Operator
下载 Alauda Build of KServe Operator 安装文件(例如 kserve-operator.ALL.xxxx.tgz)。
使用 violet 命令将其发布到平台仓库:
安装 Operator
在 管理员 视图中:
-
点击 Marketplace / OperatorHub。
-
在控制台顶部,从 Cluster 下拉列表中选择要安装 KServe Operator 的目标集群。
-
搜索并选择 Alauda Build of KServe,然后点击 Install。
将弹出 Install Alauda Build of KServe 窗口。
-
保持 Channel 不变。
-
检查 Version 是否与要安装的 Alauda Build of KServe 版本一致。
-
保持 Installation Location 不变,默认为
kserve-operator。 -
在 Upgrade Strategy 中选择 Manual。
-
点击 Install。
验证
确认 Alauda Build of KServe 卡片显示以下状态之一:
Installing:正在安装;请等待其变为Installed。Installed:安装完成。
创建 KServe 实例
Operator 安装完成后,创建一个 KServe 自定义资源以部署 KServe 实例。
切换到 YAML view 并应用以下配置,然后根据你的环境调整标注字段:
spec.namespace— 部署 KServe 组件的 Kubernetes namespace。默认值:kserve。global.clusterName— 平台中注册的集群名称。示例:business-1。global.deployFlavor— 对于非 HA 场景使用single-node,对于生产 HA 使用ha-cluster。global.platformAddress— Alauda Container Platform 管理端点地址。示例:https://192.168.131.112。preset.GIE— 用于增强 AI 能力的内置 Gateway API Inference Extension。请参阅 GIE 配置。preset.envoy_ai_gateway— 用于智能路由和策略执行的 AI 特定网关。请参阅 Envoy AI Gateway 配置。preset.envoy_gateway— 底层基于 Envoy 的网关基础设施。请参阅 Envoy Gateway 配置。preset.kserve_gateway— 用于 KServe 推理服务的入口网关。请参阅 KServe Gateway 配置。global.registry.address— 目标集群(global.clusterName)用于拉取 KServe 基础设施和运行时镜像的容器 registry 端点。 示例:registry.alauda.cn:60070。kserve.controller.deploymentMode— 对于 scale-to-zero 等无服务器特性设置为Knative,对于原生 Kubernetes 部署设置为Standardkserve.controller.gateway.domain— 入口网关用于暴露推理服务端点的域名。使用泛域名,例如*.example.com。kserve.storage.caBundleConfigMapName— 包含存储连接 CA bundle 的 ConfigMap 名称。
验证
检查 KServe 资源的状态:
当状态显示 DEPLOYED: True 时,实例即已就绪。
Envoy Gateway 配置
Envoy AI Gateway 配置
KServe Gateway 配置
GIE (gateway-api-inference-extension) 配置
升级 Alauda Build of KServe
- 使用
violet工具上传新版本的 Alauda Build of KServe operator 包。 - 前往
Administrator->Marketplace->OperatorHub页面,找到 Alauda Build of KServe,然后点击 Confirm 以应用新版本。
验证
升级后,确认 Alauda Build of KServe 卡片显示 Installed,并验证 KServe 实例状态: