部署容量规划

本页面用于估算部署 Alauda AI Platform 基础功能所需的组件资源,以及 MaaS 长流式 SSE 场景所需的额外资源。

1. Alauda AI Platform 资源

以下资源涵盖 Alauda AI Platform 基础功能和固定平台组件,不包括 ACP 和 Kubernetes 资源。不同的 ACP 和 Kubernetes 版本、集群规模以及启用的功能具有不同的基线资源要求,因此除 Alauda AI Platform 资源外,还应单独规划这些资源。

Alauda AI Platform 资源也不包括以下工作负载:

  • 训练、微调和评估作业;
  • 模型推理服务和推理从节点;
  • Notebook、Workspace、PipelineRun 和智能体实例;
  • 模型权重、训练数据、镜像、日志和备份的存储。

训练作业、推理服务和其他 AI 工作负载需要根据任务类型、模型大小、并发量和性能目标额外配置资源,例如 GPU/NPU 卡、CPU、内存、节点和业务存储。

1.1 资源建议

下表仅展示 Alauda AI Platform 组件的参考值,不代表物理服务器的最终数量或规格。准备服务器时,除了这些值之外,还应增加 ACP、Kubernetes、操作系统、容器运行时、存储、监控和日志记录以及其他平台功能所需的资源。

部署场景Alauda AI Platform 组件资源使用场景备注
高可用部署48 核 CPU / 72 GiB 内存生产环境、多用户共享环境以及需要控制平面高可用性的场景建议部署在 3 台服务器上,每台为 Alauda AI Platform 预留约 16 核 CPU / 24 GiB 内存;不包括 ACP 和 Kubernetes 基线资源
演示 / 试用最低配置24 核 CPU / 36 GiB 内存功能演示、兼容性验证和短期试用单从节点部署配置,包含 Alauda AI Platform 基础平台组件以及训练/微调/智能体控制平面,并为演示数据和演示工作负载预留空间;不支持高可用

高可用配置包含 Alauda AI Platform 基础平台组件以及训练、微调和智能体控制平面,并在组件资源之上额外预留约 50% 的资源余量,用于应对节点故障后的重新调度、滚动升级、监控和日志波动以及业务增长。建议将 Alauda AI Platform 运行在 3 台服务器上,每台为 Alauda AI Platform 预留约 16 核 CPU / 24 GiB 内存;根据实际环境,在此基础上增加 ACP 和 Kubernetes 基线资源。

演示 / 试用配置采用单从节点部署配置,包含 Alauda AI Platform 基础平台组件以及训练、微调和智能体控制平面,并为演示数据和演示工作负载预留空间;不支持高可用。如果演示配置或高可用部署还运行实际训练作业、推理服务、MaaS 并发、用户 Notebook/Workspace/PipelineRun、智能体实例或大型业务数据集,请根据实际工作负载增加资源。

这些值仅代表 Alauda AI Platform 组件资源,不包括 ACP 和 Kubernetes 的基线资源。

1.2 存储规划

Alauda AI Platform 资源不包括业务数据存储容量。应根据数据量、增长率、保留期限、IOPS、吞吐量和恢复目标,分别规划模型权重、训练数据、模型镜像、Workspace/PVC、Pipeline 工件、日志和备份。

按以下方式为每类数据选择存储。推理和训练使用相同的三类存储;二者的区别仅在于是否必须同时由多个节点挂载卷。推荐是默认选择,次选是在推荐存储不可用时的选择。

用途推荐次选原因
通过 S3 URI 访问的数据:模型仓库、基础模型、数据集、输出模型以及 Pipeline 和 MLflow 工件企业对象存储Ceph Object Storage推理服务在启动前下载模型,作业从 S3 URI 读取输入并将输出写入 S3 URI。
节点之间不共享卷。
一次由一个 Pod 使用的卷:默认存储类、单节点训练检查点(包括 Training Hub)、Workbench 主目录卷,以及在 Workbench 中上传后再提供服务的模型卷企业 NAS 或 SANCeph RBD卷会随 Pod 一起迁移到另一个节点。
TopoLVM 卷无法迁移。
同时由多个节点挂载的卷:多节点训练和微调卷(例如 Trainer v2 和微调 Pipeline)、使用 Kueue 的可抢占训练、包含多个工作节点的 KubeRay、Ray Data 输入,以及由 llm-d 多节点推理共享的模型卷企业 NASCephFS每个 Pod 会同时挂载该卷。
Ceph RBD 和 TopoLVM 卷无法由多个节点挂载。

注意:

  • 企业 NAS 和企业对象存储可以覆盖全部三行。没有企业存储时,一个 Ceph 集群即可覆盖这些场景。如果没有工作负载需要最后一行,则可以使用企业 SAN 替代 NAS。
  • 为避免使用最后一行,KubeRay 可以使用对象存储,llm-d 可以使用 ModelCar,Ceph RBD 上的 Kueue 作业可以固定到一个节点。
  • ModelCar 镜像(包括 Model Catalog 的镜像)和 S3 下载内容会在节点上解包。应根据最大模型为节点本地磁盘配置容量:安装 中每个工作节点 200G 的容量不足以容纳 GLM-5.2,后者在磁盘上占用 377 GiB。
  • 仅将 TopoLVM 用于概念验证。
  • 按照检查点与恢复 TrainJobs 中的说明配置检查点卷大小。

2. MaaS SSE 容量参考

负载测试数据有助于确定各并发级别下 MaaS 组件的合理资源配置。除了基础平台资源外,这些数据还可作为 MaaS 容量规划的参考。数据来自长流式 SSE 测试:每个流返回 200 个内容块,间隔约为 100 ms;每项测试持续 600 秒,并使用关闭连接模式。测试使用集群内的 mock-llm 作为后端,代替真实模型服务,以减少模型响应内容和持续时间的不确定性对结果的影响。

2.1 无 Guardrail

下表显示了各并发级别下的负载测试结果;每项测试均在 600 秒内完成所有请求,期间没有中断或错误。延迟单位为毫秒。TTFT 是首个令牌的时间,流持续时间是单个 SSE 流从开始到结束的持续时间;二者均以平均值 / p95 表示。

并发数Gateway 配置Authorino 配置Ratelimit 配置TTFT(ms)流持续时间(ms)
5002 个从节点;每个 1 CPU / 512 MiB2 个从节点;每个 0.5 CPU / 256 MiB2 个从节点;每个 0.25 CPU / 256 MiB平均 140 / p95 1,517平均 20,282 / p95 21,668
1,0002 个从节点;每个 2 CPU / 512 MiB2 个从节点;每个 1.5 CPU / 256 MiB2 个从节点;每个 0.25 CPU / 256 MiB平均 179 / p95 470平均 20,397 / p95 20,788
2,0004 个从节点;每个 2 CPU / 512 MiB3 个从节点;每个 2 CPU / 256 MiB2 个从节点;每个 0.25 CPU / 256 MiB平均 159 / p95 506平均 20,293 / p95 21,614

2.2 使用 Guardrail

Gateway、Authorino 和 Ratelimit 使用与无 Guardrail 测试相同的配置:

  • Gateway:2 个从节点;每个 1 CPU / 512 MiB
  • Authorino:2 个从节点;每个 0.5 CPU / 256 MiB
  • Ratelimit:2 个从节点;每个 0.25 CPU / 256 MiB

Guardrail 测试增加了 NeMo engine 和 Guardrail ext_proc shim。每项测试均在 600 秒内完成所有请求,期间没有中断或错误。延迟单位为毫秒;TTFT 和流持续时间均以平均值 / p95 表示。

并发数NeMo engineGuardrail shimTTFT(ms)流持续时间(ms)
1003 个从节点;每个 1 CPU / 1 GiB2 个从节点;每个 0.5 CPU / 256 MiB平均 338 / p95 846平均 20,391 / p95 20,906
2006 个从节点;每个 1 CPU / 1 GiB2 个从节点;每个 0.5 CPU / 256 MiB平均 343 / p95 793平均 20,392 / p95 20,848
50015 个从节点;每个 1 CPU / 1 GiB2 个从节点;每个 0.5 CPU / 256 MiB平均 383 / p95 985平均 20,432 / p95 21,034

2.3 解读负载测试数据

CPU 是一种灵活的资源。单个 CPU 的实际处理能力可能因 CPU 型号、微架构、时钟速度、NUMA 拓扑、虚拟化模式和运行时环境而存在显著差异。因此:

  • 负载测试数据仅用于容量规划参考,不代表通用配置承诺;
  • 在不同 CPU 型号上,1 CPU 不一定能提供相同的吞吐量和延迟;
  • 根据目标 CPU 型号、模型大小、请求长度、输出速度、连接模式、Guardrail 策略和目标并发数调整 CPU 配置;
  • 在 ARM64、Kunpeng 或其他目标硬件上,应在目标硬件上运行业务负载测试;
  • 当测试结果与本页面不一致时,以实际业务测试结果为准。

MaaS 负载测试不包括真实模型推理服务、模型权重或 GPU/NPU 资源。部署真实推理服务时,应根据模型大小、量化方式、上下文长度、并发数和目标延迟,增加 GPU/NPU、CPU、内存和存储资源。

2.4 MaaS 扩缩容参考

有关扩缩容方式以及各 MaaS 组件的资源配置入口,请参阅 MaaS 组件扩缩容。

在扩展规模方面:

  • Gateway:CPU 密集型组件。CPU 利用率较高属于正常现象;应配置告警以避免误报,并在利用率过高时增加从节点数量,以保持性能;
  • Authorino:对授权延迟敏感。即使 CPU 未达到饱和,请求也可能排队并超时,返回 403;在这种情况下,应增加从节点数量进行扩展;
  • NeMo engine:使用 Python 实现,单个实例无法高效使用多个 CPU 核心;应增加从节点数量进行扩展。