架构#
下图展示了 Alauda AI 平台的架构。
#组件说明
#Alauda Container Platform 层中的组件
| 组件 | 描述 | 类型 | 许可证 |
|---|---|---|---|
| GPU (Alauda Build of Nvidia GPU Device Plugin) | 为 AI 工作负载提供 GPU 资源 | 开源 | Apache Version 2.0 |
| HAMi (Alauda Build of Hami, Alauda Build of Hami-WebUI) | GPU 资源切分、共享和调度 | 开源 | Apache Version 2.0 |
| Alauda Build of DCGM-Exporter | GPU 监控 | 开源 | Apache Version 2.0 |
| Alauda Build of NPU Operator | 为 AI 工作负载提供 NPU 资源 | 开源 | Apache Version 2.0 |
| Alauda Build of Node Feature Discovery | 检测集群节点的硬件特性 | 开源 | Apache Version 2.0 |
| DRA (Alauda build of NVIDIA DRA Driver for GPUs) | 用于 GPU 共享的动态资源分配 | 开源 | Apache Version 2.0 |
| Volcano (Alauda support for Volcano) | 为 AI 工作负载提供批处理任务调度 | 开源 | Apache Version 2.0 |
| Kueue (Alauda Build of Kueue) | 为 AI 工作负载提供任务调度 | 开源 | Apache Version 2.0 |
| Milvus (Alauda Build of Milvus) | 用于 embedding 存储和检索的向量数据库 | 开源 | Apache Version 2.0 |
| PGVector (Alauda support for PostgreSQL) | 用于向量相似度搜索的 PostgreSQL 扩展 | 开源 | The PostgreSQL License |
#AI Platform 层中的组件
| 组件 | 描述 | 类型 | 许可证 |
|---|---|---|---|
| Model Catalog (Alauda AI/Alauda AI Essentials) | 用于管理 AI 模型及其元数据的集中式仓库 | 专有 | 商业 |
| Model Registry (Alauda support for Kubeflow Model Registry) | 跟踪每个命名空间中的 AI 模型版本和元数据 | 开源 | Apache Version 2.0 |
| Datasets (Alauda AI/Alauda AI Essentials) | 用于管理数据集及其元数据的集中式仓库 | 专有 | 商业 |
| Labeling (Alauda support for Label Studio) | 用于创建标注数据集的数据标注工具 | 开源 | Apache Version 2.0 |
| Feature Store (Alauda support for FeatureForm) | 用于管理和提供机器学习特征的集中式仓库 | 开源 | Mozilla Public License (MPL) |
| Workbench (Alauda AI Workbench) | 用于管理 AI 项目的基于 Web 的界面，包括模型训练和推理 | 专有 | 商业 |
| Training Jobs (Alauda support for Kubeflow Trainer v2) | Kubernetes 原生训练任务管理 | 开源 | Apache Version 2.0 |
| Kubeflow Pipelines (Alauda support for Kubeflow Base & Alauda support for Kubeflow Pipeline) | 用于 AI pipeline 的工作流编排 | 开源 | Apache Version 2.0 |
| Guardrails (Coming soon) | AI 安全和治理框架 | 开源 | Apache Version 2.0 |
| Drift & Bias Detection (Alauda support for Evidently) | 用于监控模型性能退化和偏差 | 开源 | Apache Version 2.0 |
| Experiment Tracking (Alauda support for MLFlow) | 用于跟踪和比较机器学习实验 | 开源 | Apache Version 2.0 |
#GenAI Platform 层中的组件
| 组件 | 描述 | 类型 | 许可证 |
|---|---|---|---|
| Kserve (Alauda AI/Alauda Build of KServe) | Kubernetes 原生模型服务框架 | 开源 | Apache Version 2.0 |
| vLLM (Alauda AI/Alauda Build of KServe) | 适用于大语言模型的高性能模型推理引擎 | 开源 | Apache Version 2.0 |
| llm-d (Alauda Build of KServe) | 适用于大语言模型的分布式推理引擎 | 开源 | Apache Version 2.0 |
| Model as a Service (Alauda build of Envoy AI Gateway) | 用于将 AI 模型作为服务提供的 API gateway | 开源 | Apache Version 2.0 |
| Fine-tuning | 与 Workbench 集成的用于微调大语言模型的工具，例如 transformers、accelerate、llama-factory 等。 | 开源 | - |
| Training (Alauda support for Kubeflow Trainer v2) | Kubernetes 原生训练任务管理 | 开源 | Apache Version 2.0 |
| Model Quantization | 与 Workbench 集成的用于模型量化的工具，例如 llm-compressor 等。 | 开源 | - |
| Evaluation | 与 Workbench 集成的用于评估模型性能的工具，例如 lm-evaluation-harness 等。 | 开源 | - |
| Llama Stack (Alauda build of Llama Stack) | 用于构建大语言模型应用的框架 | 开源 | MIT |
| Langchain | 与 Workbench 集成的用于使用 Langchain 构建 LLM 应用的工具 | 开源 | MIT |
| Dify (Alauda support for Dify) | 用于构建 AI 助手和聊天机器人的平台 | 开源 | Apache Version 2.0 (modified) |
| MCP Servers | 可与各种 MCP servers 集成 | - | - |
| Agent Tracing (Alauda support for MLflow) | 用于 AI Agent 的追踪和监控 | 开源 | Apache Version 2.0 |
| Agent Evaluation | 与 Workbench 集成的用于评估 AI Agent 的工具，例如 RAGAS 等。 | 开源 | - |