#安装 Alauda AI

#下载 violet 工具

首先，如果机器上没有 violet 工具，我们需要先下载它。

登录 Web Console 并切换到 Administrator 视图：

1. 单击 Marketplace / Upload Packages。
2. 单击 Download Packaging and Listing Tool。
3. 在 Execution Environment 下找到合适的 OS / CPU architecture。
4. 单击 Download 下载 violet 工具。
5. 运行 chmod +x ${PATH_TO_THE_VIOLET_TOOL} 使该工具可执行。

#上传软件包

请先将以下脚本保存为 uploading-ai-cluster-packages.sh，然后阅读下面的注释，更新该脚本中的环境变量配置。

#!/usr/bin/env bash
export PLATFORM_ADDRESS=https://platform-address  
export PLATFORM_ADMIN_USER=<admin>
export PLATFORM_ADMIN_PASSWORD=<admin-password>
export CLUSTER=<cluster-name>

export AI_CLUSTER_OPERATOR_NAME=<path-to-aml-operator-tarball>
export KSERVELESS_OPERATOR_PKG_NAME=<path-to-kserveless-operator-tarball>

VIOLET_EXTRA_ARGS=()
IS_EXTERNAL_REGISTRY=

# If the image registry type of destination cluster is not platform built-in (external private or public repository).
# Additional configuration is required (uncomment following line):
# IS_EXTERNAL_REGISTRY=true
if [[ "${IS_EXTERNAL_REGISTRY}" == "true" ]]; then
    REGISTRY_ADDRESS=<external-registry-url>
    REGISTRY_USERNAME=<registry-username>
    REGISTRY_PASSWORD=<registry-password>

    VIOLET_EXTRA_ARGS+=(
        --dst-repo "${REGISTRY_ADDRESS}"
        --username "${REGISTRY_USERNAME}"
        --password "${REGISTRY_PASSWORD}"
    )
fi

# Push **Alauda AI Cluster** operator package to destination cluster
violet push \
    ${AI_CLUSTER_OPERATOR_NAME} \
    --platform-address=${PLATFORM_ADDRESS} \
    --platform-username=${PLATFORM_ADMIN_USER} \
    --platform-password=${PLATFORM_ADMIN_PASSWORD} \
    --clusters=${CLUSTER} \
    ${VIOLET_EXTRA_ARGS[@]}

# Push **KServeless** operator package to destination cluster
violet push \
    ${KSERVELESS_OPERATOR_PKG_NAME} \
    --platform-address=${PLATFORM_ADDRESS} \
    --platform-username=${PLATFORM_ADMIN_USER} \
    --platform-password=${PLATFORM_ADMIN_PASSWORD} \
    --clusters=${CLUSTER} \
    ${VIOLET_EXTRA_ARGS[@]}

配置完成后，执行 bash ./uploading-ai-cluster-packages.sh 脚本文件，将 Alauda AI 和 Alauda AI Model Serving operator 都上传。

#操作步骤

在 Administrator 视图中：

1. 单击 Marketplace / OperatorHub。

2. 在控制台顶部的 Cluster 下拉列表中，选择要安装 Alauda AI 的目标集群。

3. 选择 Alauda AI，然后单击 Install。

   Install Alauda AI 窗口将弹出。

4. 然后在 Install Alauda AI 窗口中进行以下设置。

5. 保持 Channel 不变。

6. 检查 Version 是否与要安装的 Alauda AI 版本匹配。

7. 保持 Installation Location 不变，默认应为 aml-operator。

8. 将 Upgrade Strategy 选择为 Manual。

9. 单击 Install。

#验证

确认 Alauda AI 卡片显示以下状态之一：

• Installing：安装正在进行中；请等待其变为 Installed。
• Installed：安装已完成。

#操作步骤

在 Administrator 视图中：

1. 单击 Marketplace / OperatorHub。

2. 在控制台顶部的 Cluster 下拉列表中，选择要安装 Alauda AI Operator 的目标集群。

3. 选择 Alauda AI，然后单击 Click。

4. 在 Alauda AI 页面中，单击选项卡中的 All Instances。

5. 单击 Create。

   Select Instance Type 窗口将弹出。

6. 在 Select Instance Type 窗口中找到 AmlCluster 卡片，然后单击 Create。

   Create AmlCluster 表单将显示出来。

7. 在 Name 中保持 default 不变。

8. 从下拉列表中选择 Deploy Flavor：

   1. single-node 适用于非 HA 部署。
   2. ha-cluster 适用于 HA 集群部署（生产环境推荐）。

9. 将 KServe Mode 设置为 Managed。

10. 为 Domain 字段输入一个有效域名。

    INFO

    该域名由 ingress gateway 用于暴露模型推理服务。 大多数情况下，你会希望使用通配符域名，例如 *.example.com。

    你可以通过更新 Domain Certificate Type 字段来指定以下证书类型：

    • Provided
    • SelfSigned
    • ACPDefaultIngress

    默认情况下，配置会使用 SelfSigned 证书类型来保护到集群的 ingress 流量，证书保存在 Domain Certificate Secret 字段中指定的 knative-serving-cert secret 中。

    如果要使用你自己提供的证书，请将证书 secret 存储在 istio-system namespace 中，然后更新 Domain Certificate Secret 字段的值，并将 Domain Certificate Secret 字段的值改为 Provided。

11. 在 Serverless Configuration 部分，将 Knative Serving Provider 设置为 Operator；其余参数留空。

12. 在 Gitlab 部分：

    1. 在 Base URL 中填写自建 Gitlab 的 URL。
    2. 在 Admin Token Secret Namespace 中填写 cpaas-system。
    3. 在 Admin Token Secret Name 中填写 aml-gitlab-admin-token。

13. 检查上述配置，然后单击 Create。

#验证

检查名为 default 的 AmlCluster 资源的状态字段：

kubectl get amlcluster default

应返回 Ready：

NAME      READY   REASON
default   True    Succeeded

#前提条件

Serverless 能力依赖 Istio Gateway 进行网络通信。请先按照 documentation 安装 Service Mesh。

#操作步骤

在 Administrator 视图中：

1. 单击 Marketplace / OperatorHub。

2. 在控制台顶部的 Cluster 下拉列表中，选择要安装到的目标集群。

3. 选择 Alauda AI Model Serving，然后单击 Install。

   Install Alauda AI Model Serving 窗口将弹出。

4. 然后在 Install Alauda AI Model Serving 窗口中进行以下设置。

5. 保持 Channel 不变。

6. 检查 Version 是否与要安装的 Alauda AI Model Serving 版本匹配。

7. 保持 Installation Location 不变，默认应为 kserveless-operator。

8. 将 Upgrade Strategy 选择为 Manual。

9. 单击 Install。

#验证

确认 Alauda AI Model Serving 卡片显示以下状态之一：

• Installing：安装正在进行中；请等待其变为 Installed。
• Installed：安装已完成。

在 Administrator 视图中：

1. 单击 Marketplace / OperatorHub。

2. 在控制台顶部的 Cluster 下拉列表中，选择你之前安装 AmlCluster 的目标集群。

3. 选择 Alauda AI，然后单击 Click。

4. 在 Alauda AI 页面中，单击选项卡中的 All Instances。

5. 单击名为 default 的实例。

6. 找到 Actions 下拉列表并选择 update。

   update default 表单将显示出来。

7. 在 Serverless Configuration 部分：

   1. 将 Knative Serving Provider 设置为 Legacy。
   2. 将 BuiltIn Knative Serving 设置为 Managed。

8. 保持其余参数不变。单击 Update。

在 Administrator 视图中：

1. 单击 Marketplace / OperatorHub。

2. 在控制台顶部的 Cluster 下拉列表中，选择要安装到的目标集群。

3. 选择 Alauda AI Model Serving，然后单击 Click。

4. 在 Alauda AI Model Serving 页面中，单击选项卡中的 All Instances。

5. 单击 Create。

   Select Instance Type 窗口将弹出。

6. 在 Select Instance Type 窗口中找到 KnativeServing 卡片，然后单击 Create。

   Create KnativeServing 表单将显示出来。

7. 在 Name 中保持 default-knative-serving 不变。

8. 在 Knative Serving Namespace 中保持 knative-serving 不变。

9. 在 Ingress Gateway 部分，按如下方式配置：

   1. 将 Ingress Gateway Istio Revision 设置为与你的 Istio 版本相对应的值（例如 1-22）。
   2. 为 Domain 字段设置一个有效域名。
   3. 设置合适的 Domain Certificate Type。
   INFO

   有关配置域名和证书类型的详细信息，请参阅 relevant section。

10. 在 Values 部分，按如下方式配置：

    1. 从下拉列表中选择 Deploy Flavor：

       1. single-node 适用于非 HA 部署。
       2. ha-cluster 适用于 HA 集群部署（生产环境推荐）。

    2. 将 Global Registry Address 设置为与集群匹配的值

       你可以按照以下步骤找到集群的私有 registry 地址：

       1. 在 Web Console 中，进入 Administrator / Clusters。
       2. 选择你的目标 cluster。
       3. 在 Overview 选项卡中，在 Basic Info 部分找到 Private Registry address 的值。

在 AmlCluster 实例更新窗口中，你需要在 Serverless Configuration 部分填写所需参数。

• APIVersion: components.aml.dev/v1alpha1
• Kind: KnativeServing
• Name: default-knative-serving
• Namespace 保持空白。