安装 TrustyAI

在 Alauda AI 2.8.x 中,Alauda Build of TrustyAI 由 Alauda AI 安装和管理。集群范围的 default AmlCluster 中的 trustyAI 组件默认值为 Unmanaged;将其设置为 Managed 后,无需手动从 OperatorHub 安装 Operator。组件完成协调后,即可创建 TrustyAI 自定义资源以使用其功能。

上架 Operator 包

下载 TrustyAI Operator 包,然后按照 上架软件包 的说明上传该包。

启用 TrustyAI

Administrator 视图中:

  1. 打开 Marketplace > OperatorHub
  2. 选择目标集群并打开 Alauda AI
  3. 打开 All Instances 选项卡,编辑 default AmlCluster 实例。
  4. spec.components.trustyAI.managementState 设置为 Managed
  5. 保存 AmlCluster 实例并等待 TrustyAI Operator 就绪。

你可以在 AmlCluster YAML 中应用该组件设置:

spec:
  components:
    trustyAI:
      managementState: Managed

验证安装

检查 AmlCluster 状态和 TrustyAI Operator:

kubectl get amlcluster default

kubectl get pods -n trustyai-operator-system

AmlCluster 应报告 Phase=Ready,并且 TrustyAI Operator 控制器 pod 应处于 Running 状态。TrustyAI CRD 会在 operator 就绪后注册。

后续步骤

启用该组件后,用户可以使用 TrustyAIServiceLMEvalJobGuardrailsOrchestratorNemoGuardrails 等 CRD 来部署推理监控(TrustyAI Service)、运行模型评估任务,以及管理 AI guardrails 编排(包括 FMS Guardrails 和 NeMo Guardrails)。

有关详细信息,请参阅 部署 TrustyAI Service偏差和漂移监控评估 LLM面向 LLM 安全的 AI GuardrailsNeMo Guardrails