架构#
下图展示了 Alauda AI Platform 的架构。

#组件说明
#Alauda Container Platform 层中的组件
| 组件 | 描述 | 类型 | 许可证 |
|---|---|---|---|
| GPU (Alauda Build of Nvidia GPU Device Plugin) | 为 AI 工作负载提供 GPU 资源 | 开源 | Apache Version 2.0 |
| HAMi (Alauda Build of Hami, Alauda Build of Hami-WebUI) | GPU 资源切分、共享和调度 | 开源 | Apache Version 2.0 |
| Alauda Build of DCGM-Exporter | GPU 监控 | 开源 | Apache Version 2.0 |
| Alauda Build of NPU Operator | 为 AI 工作负载提供 NPU 资源 | 开源 | Apache Version 2.0 |
| Alauda Build of Node Feature Discovery | 检测集群节点的硬件特性 | 开源 | Apache Version 2.0 |
| DRA (Alauda build of NVIDIA DRA Driver for GPUs) | 用于 GPU 共享的动态资源分配 | 开源 | Apache Version 2.0 |
| Volcano (Alauda support for Volcano) | AI 工作负载的批处理作业调度 | 开源 | Apache Version 2.0 |
| Kueue (Alauda Build of Kueue) | AI 工作负载的作业调度 | 开源 | Apache Version 2.0 |
| Milvus (Alauda Build of Milvus) | 用于嵌入向量存储和检索的向量数据库 | 开源 | Apache Version 2.0 |
| PGVector (Alauda support for PostgreSQL) | 用于向量相似性搜索的 PostgreSQL 扩展 | 开源 | PostgreSQL License |
#AI Platform 层中的组件
| 组件 | 描述 | 类型 | 许可证 |
|---|---|---|---|
| Model Catalog (Alauda AI Platform/Alauda AI Essentials) | 用于管理 AI 模型及其元数据的集中式存储库 | 专有 | 商业 |
| Model Registry (Alauda support for Kubeflow Model Registry) | 跟踪每个命名空间中的 AI 模型版本和元数据 | 开源 | Apache Version 2.0 |
| Datasets (Alauda AI Platform/Alauda AI Essentials) | 用于管理数据集及其元数据的集中式存储库 | 专有 | 商业 |
| Labeling (Alauda support for Label Studio) | 用于创建已标注数据集的数据标注工具 | 开源 | Apache Version 2.0 |
| Feature Store (Alauda support for FeatureForm) | 用于管理和提供机器学习特征的集中式存储库 | 开源 | Mozilla Public License (MPL) |
| Workbench (Alauda AI Workbench) | 基于 Web 的 AI 项目管理界面,包括模型训练和推理 | 专有 | 商业 |
| Training Jobs (Alauda support for Kubeflow Trainer v2) | Kubernetes 原生训练作业管理 | 开源 | Apache Version 2.0 |
| Kubeflow Pipelines (Alauda support for Kubeflow Base & Alauda support for Kubeflow Pipeline) | AI 流水线的工作流编排 | 开源 | Apache Version 2.0 |
| Guardrails (Coming soon) | AI 安全与治理框架 | 开源 | Apache Version 2.0 |
| Drift & Bias Detection (Alauda support for Evidently) | 监控模型性能衰退和偏差 | 开源 | Apache Version 2.0 |
| Experiment Tracking (Alauda support for MLFlow) | 跟踪和比较机器学习实验 | 开源 | Apache Version 2.0 |
#GenAI Platform 层中的组件
| 组件 | 描述 | 类型 | 许可证 |
|---|---|---|---|
| KServe (Alauda AI Platform Inference Management) | Kubernetes 原生模型服务框架 | 开源 | Apache Version 2.0 |
| vLLM (Alauda AI Platform Inference Management) | 面向大语言模型的高性能模型推理引擎 | 开源 | Apache Version 2.0 |
| llm-d (Alauda AI Platform Inference Management) | 面向大语言模型的分布式推理引擎 | 开源 | Apache Version 2.0 |
| Model as a Service (Alauda AI Platform Gateway) | 用于以服务形式提供 AI 模型的 API 网关 | 开源 | Apache Version 2.0 |
| Fine-tuning | 与 workbench 集成的工具,用于微调大语言模型,例如 transformers、accelerate、llama-factory 等。 | 开源 | - |
| Training (Alauda support for Kubeflow Trainer v2) | Kubernetes 原生训练作业管理 | 开源 | Apache Version 2.0 |
| Model Quantization | 与 workbench 集成的工具,用于模型量化,例如 llm-compressor 等。 | 开源 | - |
| Evaluation | 与 workbench 集成的工具,用于评估模型性能,例如 lm-evaluation-harness 等。 | 开源 | - |
| Alauda Build of Llama Stack (deprecated) | 不建议使用;在 2.9 中不再由 AmlCluster 管理。可考虑使用 Ogx 作为替代方案。 | 开源 | MIT |
| Langchain | 与 workbench 集成的工具,用于使用 Langchain 构建 LLM 应用 | 开源 | MIT |
| Dify (Alauda support for Dify) | 用于构建 AI 助手和聊天机器人的平台 | 开源 | Apache Version 2.0 (modified) |
| MCP Servers | 可与各种 MCP 服务器集成 | - | - |
| Agent Tracing (Alauda support for MLflow) | AI 智能体的跟踪和监控 | 开源 | Apache Version 2.0 |
| Agent Evaluation | 与 workbench 集成的工具,用于评估 AI 智能体,例如 RAGAS 等。 | 开源 | - |