安装 TrustyAI
在 Alauda AI 2.8.x 中,Alauda Build of TrustyAI 由 Alauda AI 安装和管理。集群范围的 default AmlCluster 中的 trustyAI 组件默认值为 Unmanaged;将其设置为 Managed 后,无需手动从 OperatorHub 安装 Operator。组件完成协调后,即可创建 TrustyAI 自定义资源以使用其功能。
上架 Operator 包
下载 TrustyAI Operator 包,然后按照 上架软件包 的说明上传该包。
启用 TrustyAI
在 Administrator 视图中:
- 打开 Marketplace > OperatorHub。
- 选择目标集群并打开 Alauda AI。
- 打开 All Instances 选项卡,编辑
defaultAmlCluster实例。 - 将
spec.components.trustyAI.managementState设置为Managed。 - 保存
AmlCluster实例并等待 TrustyAI Operator 就绪。
你可以在 AmlCluster YAML 中应用该组件设置:
验证安装
检查 AmlCluster 状态和 TrustyAI Operator:
AmlCluster 应报告 Phase=Ready,并且 TrustyAI Operator 控制器 pod 应处于 Running 状态。TrustyAI CRD 会在 operator 就绪后注册。
后续步骤
启用该组件后,用户可以使用 TrustyAIService、LMEvalJob、GuardrailsOrchestrator 和 NemoGuardrails 等 CRD 来部署推理监控(TrustyAI Service)、运行模型评估任务,以及管理 AI guardrails 编排(包括 FMS Guardrails 和 NeMo Guardrails)。
有关详细信息,请参阅 部署 TrustyAI Service、偏差和漂移监控、评估 LLM、面向 LLM 安全的 AI Guardrails 和 NeMo Guardrails。