#安装 Alauda Build of KServe

Alauda Build of KServe 是基于 KServe 构建的云原生组件，用于服务生成式 AI 模型。作为 Alauda AI 生态系统的扩展，它专门针对 大型语言模型（LLMs） 进行了优化，提供推理编排、流式响应和基于资源的生成式工作负载自动扩缩容等核心功能。

#先决条件

在安装 Alauda Build of KServe 之前，您需要确保已安装以下依赖项：

#必需依赖项

#可选依赖项

#安装说明

1. 必需依赖项：安装 Alauda Build of KServe 前，必须先安装上述三个必需依赖项。
2. GIE 集成：若需使用 GIE，可在安装过程中通过 Alauda Build of KServe UI 选择“Integrated GIE”选项启用。
3. Alauda AI 集成：若不需要 KServe Predictive AI 功能，仅使用 LLM 生成式 AI，可在安装时禁用“Integrated With Alauda AI”选项。

#下载 Cluster Plugin

#上传 Cluster Plugin

有关上传 cluster plugin 的更多信息，请参见 Uploading Cluster Plugins

#安装 Alauda Build of KServe

1. 进入 Administrator -> Marketplace -> Cluster Plugin 页面，切换至目标集群，然后部署 Alauda Build of KServe Cluster plugin。

2. 在部署表单中，根据需要配置以下参数：

#Envoy Gateway 配置

#Envoy AI Gateway 配置

#KServe Gateway 配置

#GIE(gateway-api-inference-extension) 配置

#Alauda AI 集成

3. 点击 Install 开始安装过程。

4. 验证结果。您可以在 UI 中看到状态为“Installed”。

#升级 Alauda Build of KServe

1. 上传新版 Alauda Build of KServe 插件包到 ACP。
2. 进入 Administrator -> Clusters -> Target Cluster -> Functional Components 页面，点击 Upgrade 按钮，即可看到 Alauda Build of KServe 可升级。