#TrustyAI 的 Alauda Build

#TrustyAI

Alauda Build of TrustyAI 基于 TrustyAI Kubernetes operator。 该 operator 可简化在 Kubernetes 上部署和管理 TrustyAI 组件，包括模型可解释性、公平性监控、LLM 评估以及 AI guardrails。

主要组件和能力包括：

• TrustyAI Service (TAS)：与 KServe 模型一同部署并收集推理数据的服务。它支持模型可解释性、公平性监控和漂移跟踪。有关部署，请参见 部署 TrustyAI Service；有关数据摄取和指标，请参见 偏差和漂移监控。
• LM-Eval：一种基于作业的架构，用于部署和管理 LLM 评估，基于 EleutherAI 的 lm-evaluation-harness。该 operator 提供 LMEvalJob CRD，用于运行和管理评估任务。详情请参见 评估 LLM。
• AI Guardrails (FMS-Guardrails)：用于为 LLM 提供 guardrail 的模块化框架。该 operator 提供 GuardrailsOrchestrator CRD，用于编排 guardrail 策略和组件。详情请参见 面向 LLM 安全的 AI Guardrails。
• NeMo Guardrails：与 NVIDIA NeMo Guardrails 集成，使用 YAML 和 Colang 定义用于输入/输出过滤的可编程 rails。该 operator 提供 NemoGuardrails CRD，可将 NeMo Guardrails 作为服务部署到集群中。详情请参见 NeMo Guardrails。

有关在平台上安装，请参见 安装 TrustyAI。

安装后如需使用 LMEvalJob 和 GuardrailsOrchestrator，请参见上面链接的各节。

#文档

TrustyAI 上游文档和 operator 仓库：

• TrustyAI Operator (upstream)：https://github.com/trustyai-explainability/trustyai-service-operator — Kubernetes operator 的概述、安装和使用。
• TrustyAI Documentation：https://trustyai.org/ — TrustyAI 项目文档。