#介绍

#TrustyAI

Alauda Build of TrustyAI 基于 TrustyAI Kubernetes operator。 该 operator 简化了 TrustyAI 组件在 Kubernetes 上的部署和管理，包括模型可解释性、公平性监控、LLM 评估和 AI 安全防护。

主要组件和功能包括：

• TrustyAI Service：与 KServe 模型一起部署的服务，收集推理数据。支持模型可解释性、公平性监控和漂移跟踪。
• LM-Eval：基于作业的架构，用于部署和管理 LLM 评估，基于 EleutherAI 的 lm-evaluation-harness。operator 提供了 LMEvalJob CRD，用于运行和管理评估任务。详情见 Evaluate LLM。
• AI Guardrails (FMS-Guardrails)：用于 LLM 安全防护的模块化框架。operator 提供了 GuardrailsOrchestrator CRD，用于协调防护策略和组件。详情见 AI Guardrails for LLM safety。

平台上的安装请参见 Install TrustyAI。

安装后 LMEvalJob 和 GuardrailsOrchestrator 的使用，请参见上述链接章节。

#文档

TrustyAI 上游文档及 operator 仓库：

• TrustyAI Operator (upstream)：https://github.com/trustyai-explainability/trustyai-service-operator — Kubernetes operator 的概览、安装和使用。
• TrustyAI Documentation：https://trustyai.org/ — TrustyAI 项目文档。