基于 CUDA 版本调度推理服务
简介
在 Kubernetes 集群中,不同 GPU 节点上的 GPU 型号和 CUDA 驱动版本不一致会导致以下问题:
-
版本不匹配:应用使用的 CUDA 运行时版本可能与某些节点上的 CUDA 驱动版本不兼容,从而导致失败或性能问题。
-
调度挑战:原生 Kubernetes 调度器不了解 CUDA 版本依赖关系,无法保证应用被调度到版本兼容的 GPU 节点上。
-
维护开销高:手动管理节点与应用之间的 CUDA 版本依赖会增加运维复杂度。
本文提供了一个分步指南,用于基于 NVIDIA 驱动报告的 CUDA 兼容版本来调度推理服务。通过这些设置,您可以将工作负载调度到兼容的 GPU 节点,从而减少 CUDA 应用与驱动之间的不兼容问题。
步骤
在节点标签中添加 CUDA 版本
-
在每个 GPU 节点上,运行以下命令以获取 NVIDIA 驱动报告的 CUDA 兼容版本:
例如,输出可能为 12.4。
NOTEnvidia-smi显示的 CUDA Version 是当前已安装 NVIDIA 驱动所支持的最新 CUDA 版本。这并不表示节点上已安装对应版本的 CUDA toolkit 或 runtime。 -
在控制节点上,为 GPU 节点添加相应的主版本号和次版本号标签:
TIP
对于包含大量 GPU 节点的集群,请安装
Alauda Build of Node Feature Discovery 并启用其
gfd 扩展。GFD 扩展会根据 NVIDIA 驱动报告的 CUDA 兼容版本生成
nvidia.com/cuda.runtime.major 和 nvidia.com/cuda.runtime.minor 标签。
基于 CUDA 版本调度推理服务
Alauda AI 1.5 及更高版本会根据 CUDA 版本自动调度推理服务 Pod。对于更早的版本,请完成以下步骤:
- 确定在创建推理服务时需要选择哪个 ClusterServingRuntime。
- 解析 ClusterServingRuntime 标签:
如果
cpaas.io/accelerator-type为nvidia,还需要读取cpaas.io/cuda-version标签,例如11.8。 - 为推理服务添加
nodeAffinity字段。以下示例会选择报告 CUDA 主版本为 11 且次版本为 8 或更高的节点: