安装 TrustyAI
在 Alauda AI Platform 2.9 中,Alauda Build of TrustyAI 由 Alauda AI Platform 安装和管理。集群范围的 trustyAI default 中的 AmlCluster 组件默认为 Unmanaged;将其设置为 Managed,无需手动从 OperatorHub 安装 operator。组件完成调谐后,即可创建 TrustyAI 自定义资源来使用其功能。
上架 Operator 软件包
下载 TrustyAI Operator 软件包,然后按照上架软件包中的说明上传软件包。
启用 TrustyAI
在管理员视图中:
- 打开 Marketplace > OperatorHub。
- 选择目标集群并打开 Alauda AI Platform。
- 打开 All Instances 选项卡,编辑
defaultAmlCluster实例。 - 将
spec.components.trustyAI.managementState设置为Managed。 - 保存
AmlCluster实例,并等待 TrustyAI Operator 就绪。
您可以在 AmlCluster YAML 中应用组件设置:
验证安装
检查 AmlCluster 状态和 TrustyAI Operator:
AmlCluster 应报告 Phase=Ready,并且 TrustyAI Operator 控制器 pod 应处于 Running 状态。operator 就绪后,TrustyAI CRD 即完成注册。
后续步骤
启用组件后,用户可以使用 TrustyAIService、LMEvalJob、GuardrailsOrchestrator 和 NemoGuardrails 等 CRD 来部署推理监控(TrustyAI Service)、运行模型评估任务,以及管理 AI guardrails 编排(包括 FMS Guardrails 和 NeMo Guardrails)。
有关详细信息,请参阅部署 TrustyAI Service、偏差和漂移监控、评估 LLM、用于 LLM 安全性的 AI Guardrails和 NeMo Guardrails。