架构

下图展示了 Alauda AI Platform 的架构。

architecture

组件说明

Alauda Container Platform 层中的组件

组件描述类型许可证
GPU (Alauda Build of Nvidia GPU Device Plugin)为 AI 工作负载提供 GPU 资源开源Apache Version 2.0
HAMi (Alauda Build of Hami, Alauda Build of Hami-WebUI)GPU 资源切分、共享和调度开源Apache Version 2.0
Alauda Build of DCGM-ExporterGPU 监控开源Apache Version 2.0
Alauda Build of NPU Operator为 AI 工作负载提供 NPU 资源开源Apache Version 2.0
Alauda Build of Node Feature Discovery检测集群节点的硬件特性开源Apache Version 2.0
DRA (Alauda build of NVIDIA DRA Driver for GPUs)用于 GPU 共享的动态资源分配开源Apache Version 2.0
Volcano (Alauda support for Volcano)AI 工作负载的批处理作业调度开源Apache Version 2.0
Kueue (Alauda Build of Kueue)AI 工作负载的作业调度开源Apache Version 2.0
Milvus (Alauda Build of Milvus)用于嵌入向量存储和检索的向量数据库开源Apache Version 2.0
PGVector (Alauda support for PostgreSQL)用于向量相似性搜索的 PostgreSQL 扩展开源PostgreSQL License

AI Platform 层中的组件

组件描述类型许可证
Model Catalog (Alauda AI Platform/Alauda AI Essentials)用于管理 AI 模型及其元数据的集中式存储库专有商业
Model Registry (Alauda support for Kubeflow Model Registry)跟踪每个命名空间中的 AI 模型版本和元数据开源Apache Version 2.0
Datasets (Alauda AI Platform/Alauda AI Essentials)用于管理数据集及其元数据的集中式存储库专有商业
Labeling (Alauda support for Label Studio)用于创建已标注数据集的数据标注工具开源Apache Version 2.0
Feature Store (Alauda support for FeatureForm)用于管理和提供机器学习特征的集中式存储库开源Mozilla Public License (MPL)
Workbench (Alauda AI Workbench)基于 Web 的 AI 项目管理界面,包括模型训练和推理专有商业
Training Jobs (Alauda support for Kubeflow Trainer v2)Kubernetes 原生训练作业管理开源Apache Version 2.0
Kubeflow Pipelines (Alauda support for Kubeflow Base & Alauda support for Kubeflow Pipeline)AI 流水线的工作流编排开源Apache Version 2.0
Guardrails (Coming soon)AI 安全与治理框架开源Apache Version 2.0
Drift & Bias Detection (Alauda support for Evidently)监控模型性能衰退和偏差开源Apache Version 2.0
Experiment Tracking (Alauda support for MLFlow)跟踪和比较机器学习实验开源Apache Version 2.0

GenAI Platform 层中的组件

组件描述类型许可证
KServe (Alauda AI Platform Inference Management)Kubernetes 原生模型服务框架开源Apache Version 2.0
vLLM (Alauda AI Platform Inference Management)面向大语言模型的高性能模型推理引擎开源Apache Version 2.0
llm-d (Alauda AI Platform Inference Management)面向大语言模型的分布式推理引擎开源Apache Version 2.0
Model as a Service (Alauda AI Platform Gateway)用于以服务形式提供 AI 模型的 API 网关开源Apache Version 2.0
Fine-tuning与 workbench 集成的工具,用于微调大语言模型,例如 transformers、accelerate、llama-factory 等。开源-
Training (Alauda support for Kubeflow Trainer v2)Kubernetes 原生训练作业管理开源Apache Version 2.0
Model Quantization与 workbench 集成的工具,用于模型量化,例如 llm-compressor 等。开源-
Evaluation与 workbench 集成的工具,用于评估模型性能,例如 lm-evaluation-harness 等。开源-
Alauda Build of Llama Stack (deprecated)不建议使用;在 2.9 中不再由 AmlCluster 管理。可考虑使用 Ogx 作为替代方案。开源MIT
Langchain与 workbench 集成的工具,用于使用 Langchain 构建 LLM 应用开源MIT
Dify (Alauda support for Dify)用于构建 AI 助手和聊天机器人的平台开源Apache Version 2.0 (modified)
MCP Servers可与各种 MCP 服务器集成--
Agent Tracing (Alauda support for MLflow)AI 智能体的跟踪和监控开源Apache Version 2.0
Agent Evaluation与 workbench 集成的工具,用于评估 AI 智能体,例如 RAGAS 等。开源-