安装 TrustyAI

在 Alauda AI Platform 2.9 中,Alauda Build of TrustyAI 由 Alauda AI Platform 安装和管理。集群范围的 trustyAI default 中的 AmlCluster 组件默认为 Unmanaged;将其设置为 Managed,无需手动从 OperatorHub 安装 operator。组件完成调谐后,即可创建 TrustyAI 自定义资源来使用其功能。

上架 Operator 软件包

下载 TrustyAI Operator 软件包,然后按照上架软件包中的说明上传软件包。

启用 TrustyAI

在管理员视图中:

  1. 打开 Marketplace > OperatorHub。
  2. 选择目标集群并打开 Alauda AI Platform。
  3. 打开 All Instances 选项卡,编辑 default AmlCluster 实例。
  4. 将 spec.components.trustyAI.managementState 设置为 Managed。
  5. 保存 AmlCluster 实例,并等待 TrustyAI Operator 就绪。

您可以在 AmlCluster YAML 中应用组件设置:

spec:
  components:
    trustyAI:
      managementState: Managed

验证安装

检查 AmlCluster 状态和 TrustyAI Operator:

kubectl get amlcluster default

kubectl get pods -n trustyai-operator-system

AmlCluster 应报告 Phase=Ready,并且 TrustyAI Operator 控制器 pod 应处于 Running 状态。operator 就绪后,TrustyAI CRD 即完成注册。

后续步骤

启用组件后,用户可以使用 TrustyAIService、LMEvalJob、GuardrailsOrchestrator 和 NemoGuardrails 等 CRD 来部署推理监控(TrustyAI Service)、运行模型评估任务,以及管理 AI guardrails 编排(包括 FMS Guardrails 和 NeMo Guardrails)。

有关详细信息,请参阅部署 TrustyAI Service、偏差和漂移监控、评估 LLM、用于 LLM 安全性的 AI Guardrails和 NeMo Guardrails。