基于 CUDA 版本调度推理服务

简介

在 Kubernetes 集群中,不同 GPU 节点上的 GPU 型号和 CUDA 驱动版本不一致会导致以下问题:

  1. 版本不匹配:应用使用的 CUDA 运行时版本可能与某些节点上的 CUDA 驱动版本不兼容,从而导致失败或性能问题。

  2. 调度挑战:原生 Kubernetes 调度器不了解 CUDA 版本依赖关系,无法保证应用被调度到版本兼容的 GPU 节点上。

  3. 维护开销高:手动管理节点与应用之间的 CUDA 版本依赖会增加运维复杂度。

本文提供了一个分步指南,用于基于 NVIDIA 驱动报告的 CUDA 兼容版本来调度推理服务。通过这些设置,您可以将工作负载调度到兼容的 GPU 节点,从而减少 CUDA 应用与驱动之间的不兼容问题。

步骤

在节点标签中添加 CUDA 版本

  1. 在每个 GPU 节点上,运行以下命令以获取 NVIDIA 驱动报告的 CUDA 兼容版本:

    nvidia-smi | sed -n 's/.*CUDA Version: \([0-9.]\+\).*/\1/p'

    例如,输出可能为 12.4。

    NOTE

    nvidia-smi 显示的 CUDA Version 是当前已安装 NVIDIA 驱动所支持的最新 CUDA 版本。这并不表示节点上已安装对应版本的 CUDA toolkit 或 runtime。

  2. 在控制节点上,为 GPU 节点添加相应的主版本号和次版本号标签:

    kubectl label node <node-name> \
    nvidia.com/cuda.runtime.major=12 \
    nvidia.com/cuda.runtime.minor=4
TIP

对于包含大量 GPU 节点的集群,请安装 Alauda Build of Node Feature Discovery 并启用其 gfd 扩展。GFD 扩展会根据 NVIDIA 驱动报告的 CUDA 兼容版本生成 nvidia.com/cuda.runtime.major 和 nvidia.com/cuda.runtime.minor 标签。

基于 CUDA 版本调度推理服务

Alauda AI 1.5 及更高版本会根据 CUDA 版本自动调度推理服务 Pod。对于更早的版本,请完成以下步骤:

  1. 确定在创建推理服务时需要选择哪个 ClusterServingRuntime。
  2. 解析 ClusterServingRuntime 标签: 如果 cpaas.io/accelerator-type 为 nvidia,还需要读取 cpaas.io/cuda-version 标签,例如 11.8。
  3. 为推理服务添加 nodeAffinity 字段。以下示例会选择报告 CUDA 主版本为 11 且次版本为 8 或更高的节点:
    apiVersion: serving.kserve.io/v1beta1
    kind: InferenceService
    spec:
      predictor:
        affinity:
          nodeAffinity:
            preferredDuringSchedulingIgnoredDuringExecution:
              - weight: 100
                preference:
                  matchExpressions:
                    - key: nvidia.com/cuda.runtime.major
                      operator: In
                      values: ['11']
                    - key: nvidia.com/cuda.runtime.minor
                      operator: Gt
                      values: ['7'] # Gt is strict, so 7 expresses a minimum minor version of 8.