安装 Alauda AI
Alauda AI 现在提供灵活的部署选项。从 Alauda AI 1.4 开始,Knative 功能变为可选特性;如果不需要它,可以使用更简化的安装方式。
首先,您需要部署 Alauda AI Operator。这是所有 Alauda AI 产品的核心引擎。默认情况下,它使用 KServe Standard 模式作为推理后端,尤其适用于资源密集型生成式工作负载。该模式通过利用基础 Kubernetes 功能,提供了一种直接的模型部署方式,并具备强大且可定制的部署能力。
如果您的使用场景需要 Knative 功能,例如用于成本优化的 按需缩放至零 等高级特性,您可以选择安装 Knative Operator。该 operator 不包含在默认安装中,但可以随时添加以启用 Knative 功能。
推荐的部署选项:对于生成式推理工作负载,推荐使用 Standard 方式(此前称为 RawKubernetes Deployment),因为它能更好地控制资源分配和扩缩容。
目录
下载前提条件上传安装 Alauda AI Operator安装 Alauda Build of KServe Operator启用 Knative 功能1. 安装 Knative Operator2. 创建 Knative Serving Instance配置 Alauda AI Instance导入 Catalog 的内置模型镜像FAQ1. 为 aml-skipper 配置审计输出目录下载
Operator 组件:
-
Alauda AI Operator
Alauda AI Operator 是支撑 Alauda AI 产品运行的主要引擎。它专注于两个核心功能:模型管理和推理服务,并提供一个可灵活扩展的框架。
下载包:aml-operator.xxx.tgz
-
Knative Operator
Knative Operator 提供 serverless 模型推理能力。
下载包:knative-operator.ALL.v1.x.x-yymmdd.tgz
您可以从 customer portal 网站的 Marketplace 中下载名为 'Alauda AI' 和 'Knative Operator' 的应用。
前提条件
在安装 Alauda AI 之前,请先在目标集群上安装以下依赖组件。它们为 Model as a Service (MaaS) 提供所需的认证、元数据存储和缓存服务:
- Authorino Operator
- PostgreSQL
- Alauda Cache Service for Redis OSS
上传
我们需要将 Alauda AI 和 Knative Operator 都上传到将要使用 Alauda AI 的集群中。
下载 violet 工具
首先,如果机器上没有 violet 工具,则需要先下载它。
登录 Web Console 并切换到 Administrator 视图:
- 单击 Marketplace / Upload Packages。
- 单击 Download Packaging and Listing Tool。
- 在 Execution Environment 下找到正确的 OS / CPU 架构。
- 单击 Download 下载
violet工具。 - 运行
chmod +x ${PATH_TO_THE_VIOLET_TOOL}使该工具可执行。
上传软件包
请先将以下脚本保存为 uploading-ai-cluster-packages.sh,然后阅读下方注释,更新脚本中的环境变量配置。
${PLATFORM_ADDRESS}是您的 ACP 平台地址。${PLATFORM_ADMIN_USER}是 ACP 平台管理员的用户名。${PLATFORM_ADMIN_PASSWORD}是 ACP 平台管理员的密码。${CLUSTER}是要安装 Alauda AI 组件的集群名称。${AI_CLUSTER_OPERATOR_NAME}是 Alauda AI Cluster Operator 软件包 tarball 的路径。${KNATIVE_OPERATOR_PKG_NAME}是 Knative Operator 软件包 tarball 的路径。${REGISTRY_ADDRESS}是外部 registry 的地址。${REGISTRY_USERNAME}是外部 registry 的用户名。${REGISTRY_PASSWORD}是外部 registry 的密码。
配置完成后,使用 bash ./uploading-ai-cluster-packages.sh 执行脚本文件,以上传 Alauda AI 和 Knative Operator。
安装 Alauda AI Operator
操作步骤
在 Administrator 视图中:
-
单击 Marketplace / OperatorHub。
-
在控制台顶部的 Cluster 下拉列表中,选择要安装 Alauda AI 的目标集群。
-
选择 Alauda AI,然后单击 Install。
此时会弹出 Install Alauda AI 窗口。
-
然后在 Install Alauda AI 窗口中操作。
-
保持 Channel 不变。
-
检查 Version 是否与您要安装的 Alauda AI 版本匹配。
-
保持 Installation Location 不变,默认应为
aml-operator。 -
在 Upgrade Strategy 中选择 Manual。
-
单击 Install。
验证
确认 Alauda AI 卡片显示以下状态之一:
Installing:安装正在进行中;请等待其变为Installed。Installed:安装已完成。
安装 Alauda Build of KServe Operator
有关详细的安装步骤,请参阅 Alauda Build of KServe 中的 安装 KServe。
启用 Knative 功能
Knative 功能是一个可选能力,需要额外部署一个 operator 和一个 instance。
如果您计划使用 Knative 功能,必须先安装 Knative Operator 并创建 Knative Serving instance,然后再配置 Alauda AI instance,以确保集群中可用所需的 CRD。
1. 安装 Knative Operator
从 Knative Operator 开始,Knative networking 层切换为 Kourier,因此不再需要安装 Istio。
操作步骤
在 Administrator 视图中:
-
单击 Marketplace / OperatorHub。
-
在控制台顶部的 Cluster 下拉列表中,选择要安装的目标集群。
-
搜索并选择 Knative Operator,然后单击 Install。
此时会弹出 Install Knative Operator 窗口。
-
然后在 Install Knative Operator 窗口中操作。
-
保持 Channel 不变。
-
检查 Version 是否与您要安装的 Knative Operator 版本匹配。
-
保持 Installation Location 不变。
-
在 Upgrade Strategy 中选择 Manual。
-
单击 Install。
验证
确认 Knative Operator 卡片显示以下状态之一:
Installing:安装正在进行中;请等待其变为Installed。Installed:安装已完成。
2. 创建 Knative Serving Instance
安装 Knative Operator 后,您需要手动创建 KnativeServing instance。
操作步骤
-
创建
knative-serving命名空间。 -
在 Administrator 视图中,导航到 Operators -> Installed Operators。
-
选择 Knative Operator。
-
在 Provided APIs 下找到 KnativeServing,然后单击 Create Instance。
-
切换到 YAML view。
-
使用以下 YAML 替换内容:
-
单击 Create。
- 对于 ACP 4.0,请使用版本 1.18.1
- 对于 ACP 4.1 及以上版本,请使用版本 1.19.6
-
指定要部署的 Knative Serving 版本。
-
private-registry是私有 registry 地址的占位符。您可以在 Administrator 视图中,单击 Clusters,选择your cluster,然后在 Basic Info 部分查看 Private Registry 值。
配置 Alauda AI Instance
安装 Alauda AI Operator(以及可选的 Knative Operator)后,operator 会自动创建 default AmlCluster instance。您无需手动创建 default instance。请根据您的环境检查并更新自动创建的 instance。
操作步骤
在 Administrator 视图中:
-
单击 Marketplace / OperatorHub。
-
在控制台顶部的 Cluster 下拉列表中,选择要安装 Alauda AI Operator 的目标集群。
-
选择 Alauda AI,然后单击它。
-
在 Alauda AI 页面中,单击选项卡中的 All Instances。
-
等待
defaultAmlClusterinstance 出现,然后编辑它。 -
从下拉菜单中选择 Deploy Flavor:
single-node:用于非 HA 部署。ha-cluster:用于 HA 集群部署(生产环境推荐)。
-
将 KServe Mode 设置为 Managed。
-
在 Domain 字段中输入有效域名。
INFO该域名由 ingress gateway 用于暴露模型推理服务。 您大概率会希望使用通配符名称,例如 *.example.com。
您可以通过更新 Domain Certificate Type 字段来指定以下证书类型:
ProvidedSelfSignedACPDefaultIngress
默认情况下,配置使用
SelfSigned证书类型来保护到集群的 ingress 流量;证书存储在 Domain Certificate Secret 字段中指定的knative-serving-certsecret 中。 -
(可选) 配置自定义 OIDC provider。
默认情况下,Alauda AI 使用 ACP Dex 作为 OIDC provider。在此默认 配置下,
AmlClusterinstance 中不需要额外的spec.oidc配置。如果您希望 Alauda AI 使用其他 OIDC provider,请在该 provider 中注册 OAuth2/OIDC client,允许 Alauda AI 回调 URL,然后更新
AmlClusterYAML 中的spec.oidc。回调 URL 为:Alauda AI 会从 Alauda AI 安装集群的
kubeflow命名空间中的 Kubernetes Secret 读取 OIDC client secret。默认的 Secret 名称是aml-oidc-secret,Secret key 必须为client-secret。使用您的 OIDC provider 提供的 client secret 更新该 Secret:然后配置
spec.oidc:如果 provider 在
<issuerURL>/.well-known/openid-configuration处提供标准的 OIDC discovery 文档, 当这些字段未设置时,Alauda AI 会根据 discovery 自动填充redeemURL、jwksURL和profileURL。如果无法使用 discovery,则请显式配置这些字段:对于
main.loginURL,请使用映射后的loginURL值;如果您配置了 secondary endpoint,则对secondary.loginURL也使用该值。Keycloak 配置示例:
- 在目标 realm 中创建一个 OpenID Connect client。
- 将 Client ID 设置为
spec.oidc.clientID中使用的值,例如aml。 - 打开 Client authentication。
- 在 Authentication flow 下选择 Standard flow。
- 打开 Require PKCE 并将 PKCE Method 设置为
S256。 - 将 Valid redirect URIs 设置为
https://<platform-address>/clusters/<cluster-name>/aml/*。 - 从 Keycloak client 的 Credentials 选项卡复制 client secret,并
更新上面显示的
aml-oidc-secretSecret。 - 在 client 的 Client scopes 设置中,将
basic、email和profile设为 Default,并将其他 scope 设为 Optional,除非您的环境明确需要它们。除非必要,请避免添加较大的 claim mapper,例如 groups、realm roles、client roles、address、phone、offline access 以及其他应用特定 claims。过大的 token 可能会导致 oauth2-proxy cookie 超出浏览器或 ingress header 大小限制,并引发登录循环或 HTTP 431/400 错误。
-
(可选) 配置 Alauda AI 控制台可用的语言。
Alauda AI 会从
AmlClusterinstance 中的spec.i18n.languages读取可用的控制台语言。默认值为en。支持的语言代码如下:
en和zh是内置语言。其他语言仅会将该语言作为可选项添加。若要成功切换到这些语言,您还必须提供对应的翻译文件。在为其他语言准备翻译文件时,您可以将内置的英文和中文翻译文件作为参考:
依据这些文件生成目标语言的翻译,或者联系 Alauda 获取所需语言的最新翻译内容。
例如,如果要在控制台中使英文、中文和法文都可选择,请更新
AmlClusterYAML:然后在
cpaas-system命名空间中为法文创建一个翻译文件ConfigMap:对于其他非内置语言,请使用相同模式:将
fr替换为目标语言代码,并提供翻译后的lich-single.json内容。 -
(可选) 如果您希望启用 Knative 功能,请更新
AmlClusterYAML 以引用KnativeServinginstance:INFO仅当您已安装 Knative Operator 并在前面的步骤中创建了
KnativeServinginstance 时,才配置此项。如果您不使用 Knative 功能,请不要设置此配置。 -
在 Model Catalog 部分,配置以下参数:
-
Model OCI Registry Address:为 Model Catalog 托管模型 OCI artifacts 的 registry 地址。该字段没有默认值,必须根据您的环境进行配置。
该 registry 用于存储 Model Catalog 所使用的模型 OCI 镜像。请使用 Harbor 或其他启用了 HTTPS 访问的生产模式 OCI registry。Model Catalog 不支持在拉取模型 OCI 镜像时配置
imagePullSecret,因此用于 Model Catalog 的 Harbor 项目或 repository 必须允许 inference cluster 节点匿名拉取。在 Harbor 中,将存放 Model Catalog 镜像的项目设置为 Public。如果无法在目标环境中部署支持 HTTPS 的 registry,您可以使用 HTTP registry 作为备用方案。请在部署模型之前,先为 inference cluster 中的每个节点配置 container runtime。对于 containerd,可以为 registry 地址添加一个不安全的 registry mirror,例如创建
/etc/containerd/certs.d/<registry-host:port>/hosts.toml:然后重启 containerd,或通过您的集群管理系统应用等效的 node-runtime 配置。此配置必须存在于调度 inference service pod 的节点上;否则,即使 Model Catalog 可以列出模型,pod 镜像拉取仍会失败。containerd 的具体配置路径可能因 Kubernetes 发行版而异;应用配置后,请验证节点是否能够拉取 Model Catalog 镜像,例如使用
crictl pull <registry-host:port>/<repository>:<tag>。 -
Source of PVC:选择复用现有 PVC 还是创建新的 PVC。使用
CreateNew可让安装过程创建 PVC。 -
StorageClass Name:创建新 PVC 时使用的 StorageClass。
-
-
如果您计划使用
llm-d或vLLM-ascend,请将 KServe Modelcar UID 设置为0。默认值为1000。这是集群级别的设置,会影响 Alauda AI 安装集群中的所有 Modelcar 工作负载。
-
检查配置并保存
defaultAmlClusterinstance。
验证
检查名为 default 的 AmlCluster 资源的 status 字段:
它应返回 Ready:
导入 Catalog 的内置模型镜像
Alauda AI 的 Catalog 功能附带一组内置模型 OCI 镜像,用户可以从 Web Console 将它们部署为推理服务。这些镜像必须在 Catalog 提供服务之前导入到 Model Catalog 配置的 OCI registry 中。如果不执行此步骤,安装虽然会成功完成,但之后从 Catalog 部署内置模型时将会失败,并出现 ImagePullBackOff。
获取 OCI 镜像 tarball
内置模型镜像以 OCI archive tarball(符合 OCI Image Layout Specification 的 .tar 文件)形式提供。每个 tarball 都包含一个模型的多架构镜像(linux/amd64 + linux/arm64)。
您可以从 Customer Portal Marketplace 下载这些 tarball,或者联系您的 Alauda 支持代表获取与您的 Alauda AI 版本匹配的软件包。
推送到 Harbor
推荐的目标 registry 是 Harbor。下面的示例使用 HTTP Harbor registry。如果您的 Harbor registry 使用 HTTPS,请省略 --plain-http,并将 API URL 从 http:// 改为 https://。
请在安装了 ctr、curl 和 jq,且能够访问 Harbor 的节点上运行这些命令。
首先,设置环境变量:
- Harbor registry 端点,不包含 URL scheme。
- Harbor 中的目标 repository 路径,格式为
<project>/<image-name>。例如,mlops/modelcar-qwen3.5-0.8b使用 Harbor 项目mlops和 repositorymodelcar-qwen3.5-0.8b。 - OCI archive 携带的镜像 tag。如果您不知道它,可以使用下面的命令从 tarball 中提取。
- 上一步获取到的 OCI archive tarball 路径。
- Harbor 凭据,格式为
user:password。如果您没有这些凭据,请联系您的平台管理员。
该 tarball 通常会在 OCI image layout 中自带 tag(例如 v0.1.0)。如有需要,可从 tarball 中提取它:
检查镜像 tag 是否已存在于 Harbor 中:
如果 Harbor 项目尚不存在,请先创建它,然后再推送:
如果项目已经存在,Harbor 会返回非 2xx 状态码。确认项目存在后,请确保它已配置为 public project,然后继续执行导入和推送。Model Catalog 不支持在部署模型 OCI 镜像时配置 imagePullSecret,因此 inference cluster 节点必须能够匿名拉取这些镜像。
然后运行导入和推送操作:
对每个内置模型 tarball 重复此过程,并为每个模型分别调整 $REPO、$TAG 和 $TAR。
--all-platforms 在 import 步骤中至关重要:如果省略它,只会导入节点宿主架构的镜像,后续 push 时会静默遗漏另一个平台的 blob。push 步骤不需要该标志——推送多架构 index 时会自动推送它所引用的所有平台。
验证 Harbor 导入
确认 Harbor 现在可以提供该镜像:
HTTP=200 表示镜像已成功导入到 Harbor。预期输出包括 digest、size、push time、tag 和 platform 信息:
至此,Alauda AI 的核心能力已成功部署。如果您希望快速体验产品,请参阅 快速开始。
FAQ
1. 为 aml-skipper 配置审计输出目录
默认的审计输出路径为宿主机上的 /cpaas/audit。但是,在某些操作系统中(例如 Alauda OS),宿主机的根路径是只读的,无法创建 /cpaas 目录。在这种情况下,用户需要修改审计输出路径。
要修改审计输出路径,请更新 AmlCluster 默认资源,并在 spec.values 下添加 amlSkipper.auditLogHostPath.path 配置。例如:
具体路径应与 Alauda Container Platform Log Collector 的采集配置保持一致。