#介绍

#TrustyAI

Alauda Build of TrustyAI 基于 TrustyAI Kubernetes operator。 该 operator 简化了 TrustyAI 组件在 Kubernetes 上的部署和管理，包括模型可解释性、公平性监控、LLM 评估和 AI 安全防护。

主要组件和功能包括：

• TrustyAI Service (TAS)：与 KServe 模型一起部署的服务，收集推理数据。它支持模型可解释性、公平性监控和漂移跟踪。有关部署、数据摄取和指标，请参见 TrustyAI Service (TAS)。
• LM-Eval：基于作业的架构，用于部署和管理 LLM 评估，基于 EleutherAI 的 lm-evaluation-harness。operator 提供了用于运行和管理评估任务的 LMEvalJob CRD。详情请参见 Evaluate LLM。
• AI Guardrails (FMS-Guardrails)：用于 LLM 安全防护的模块化框架。operator 提供了用于协调防护策略和组件的 GuardrailsOrchestrator CRD。详情请参见 AI Guardrails for LLM safety。
• NeMo Guardrails：与 NVIDIA NeMo Guardrails 集成，使用 YAML 和 Colang 定义可编程的输入/输出过滤规则。operator 提供了 NemoGuardrails CRD，用于在集群中将 NeMo Guardrails 作为服务部署。详情请参见 NeMo Guardrails。

有关平台上的安装，请参见 Install TrustyAI。

安装后有关 LMEvalJob 和 GuardrailsOrchestrator 的使用，请参见上述链接章节。

#Documentation

TrustyAI 上游文档和 operator 仓库：

• TrustyAI Operator (upstream)：https://github.com/trustyai-explainability/trustyai-service-operator — Kubernetes operator 的概览、安装和使用说明。
• TrustyAI Documentation：https://trustyai.org/ — TrustyAI 项目文档。