部署容量规划
本页面用于估算部署 Alauda AI Platform 基础功能所需的组件资源,以及 MaaS 长流式 SSE 场景所需的额外资源。
目录
1. Alauda AI Platform 资源1.1 资源建议1.2 存储规划2. MaaS SSE 容量参考2.1 无 Guardrail2.2 使用 Guardrail2.3 解读负载测试数据2.4 MaaS 扩缩容参考1. Alauda AI Platform 资源
以下资源涵盖 Alauda AI Platform 基础功能和固定平台组件,不包括 ACP 和 Kubernetes 资源。不同的 ACP 和 Kubernetes 版本、集群规模以及启用的功能具有不同的基线资源要求,因此除 Alauda AI Platform 资源外,还应单独规划这些资源。
Alauda AI Platform 资源也不包括以下工作负载:
- 训练、微调和评估作业;
- 模型推理服务和推理从节点;
- Notebook、Workspace、PipelineRun 和智能体实例;
- 模型权重、训练数据、镜像、日志和备份的存储。
训练作业、推理服务和其他 AI 工作负载需要根据任务类型、模型大小、并发量和性能目标额外配置资源,例如 GPU/NPU 卡、CPU、内存、节点和业务存储。
1.1 资源建议
下表仅展示 Alauda AI Platform 组件的参考值,不代表物理服务器的最终数量或规格。准备服务器时,除了这些值之外,还应增加 ACP、Kubernetes、操作系统、容器运行时、存储、监控和日志记录以及其他平台功能所需的资源。
高可用配置包含 Alauda AI Platform 基础平台组件以及训练、微调和智能体控制平面,并在组件资源之上额外预留约 50% 的资源余量,用于应对节点故障后的重新调度、滚动升级、监控和日志波动以及业务增长。建议将 Alauda AI Platform 运行在 3 台服务器上,每台为 Alauda AI Platform 预留约 16 核 CPU / 24 GiB 内存;根据实际环境,在此基础上增加 ACP 和 Kubernetes 基线资源。
演示 / 试用配置采用单从节点部署配置,包含 Alauda AI Platform 基础平台组件以及训练、微调和智能体控制平面,并为演示数据和演示工作负载预留空间;不支持高可用。如果演示配置或高可用部署还运行实际训练作业、推理服务、MaaS 并发、用户 Notebook/Workspace/PipelineRun、智能体实例或大型业务数据集,请根据实际工作负载增加资源。
这些值仅代表 Alauda AI Platform 组件资源,不包括 ACP 和 Kubernetes 的基线资源。
1.2 存储规划
Alauda AI Platform 资源不包括业务数据存储容量。应根据数据量、增长率、保留期限、IOPS、吞吐量和恢复目标,分别规划模型权重、训练数据、模型镜像、Workspace/PVC、Pipeline 工件、日志和备份。
按以下方式为每类数据选择存储。推理和训练使用相同的三类存储;二者的区别仅在于是否必须同时由多个节点挂载卷。推荐是默认选择,次选是在推荐存储不可用时的选择。
注意:
- 企业 NAS 和企业对象存储可以覆盖全部三行。没有企业存储时,一个 Ceph 集群即可覆盖这些场景。如果没有工作负载需要最后一行,则可以使用企业 SAN 替代 NAS。
- 为避免使用最后一行,KubeRay 可以使用对象存储,llm-d 可以使用 ModelCar,Ceph RBD 上的 Kueue 作业可以固定到一个节点。
- ModelCar 镜像(包括 Model Catalog 的镜像)和 S3 下载内容会在节点上解包。应根据最大模型为节点本地磁盘配置容量:安装 中每个工作节点 200G 的容量不足以容纳 GLM-5.2,后者在磁盘上占用 377 GiB。
- 仅将 TopoLVM 用于概念验证。
- 按照检查点与恢复 TrainJobs 中的说明配置检查点卷大小。
2. MaaS SSE 容量参考
负载测试数据有助于确定各并发级别下 MaaS 组件的合理资源配置。除了基础平台资源外,这些数据还可作为 MaaS 容量规划的参考。数据来自长流式 SSE 测试:每个流返回 200 个内容块,间隔约为 100 ms;每项测试持续 600 秒,并使用关闭连接模式。测试使用集群内的 mock-llm 作为后端,代替真实模型服务,以减少模型响应内容和持续时间的不确定性对结果的影响。
2.1 无 Guardrail
下表显示了各并发级别下的负载测试结果;每项测试均在 600 秒内完成所有请求,期间没有中断或错误。延迟单位为毫秒。TTFT 是首个令牌的时间,流持续时间是单个 SSE 流从开始到结束的持续时间;二者均以平均值 / p95 表示。
2.2 使用 Guardrail
Gateway、Authorino 和 Ratelimit 使用与无 Guardrail 测试相同的配置:
- Gateway:2 个从节点;每个 1 CPU / 512 MiB
- Authorino:2 个从节点;每个 0.5 CPU / 256 MiB
- Ratelimit:2 个从节点;每个 0.25 CPU / 256 MiB
Guardrail 测试增加了 NeMo engine 和 Guardrail ext_proc shim。每项测试均在 600 秒内完成所有请求,期间没有中断或错误。延迟单位为毫秒;TTFT 和流持续时间均以平均值 / p95 表示。
2.3 解读负载测试数据
CPU 是一种灵活的资源。单个 CPU 的实际处理能力可能因 CPU 型号、微架构、时钟速度、NUMA 拓扑、虚拟化模式和运行时环境而存在显著差异。因此:
- 负载测试数据仅用于容量规划参考,不代表通用配置承诺;
- 在不同 CPU 型号上,
1 CPU不一定能提供相同的吞吐量和延迟; - 根据目标 CPU 型号、模型大小、请求长度、输出速度、连接模式、Guardrail 策略和目标并发数调整 CPU 配置;
- 在 ARM64、Kunpeng 或其他目标硬件上,应在目标硬件上运行业务负载测试;
- 当测试结果与本页面不一致时,以实际业务测试结果为准。
MaaS 负载测试不包括真实模型推理服务、模型权重或 GPU/NPU 资源。部署真实推理服务时,应根据模型大小、量化方式、上下文长度、并发数和目标延迟,增加 GPU/NPU、CPU、内存和存储资源。
2.4 MaaS 扩缩容参考
有关扩缩容方式以及各 MaaS 组件的资源配置入口,请参阅 MaaS 组件扩缩容。
在扩展规模方面:
- Gateway:CPU 密集型组件。CPU 利用率较高属于正常现象;应配置告警以避免误报,并在利用率过高时增加从节点数量,以保持性能;
- Authorino:对授权延迟敏感。即使 CPU 未达到饱和,请求也可能排队并超时,返回
403;在这种情况下,应增加从节点数量进行扩展; - NeMo engine:使用 Python 实现,单个实例无法高效使用多个 CPU 核心;应增加从节点数量进行扩展。