验证

验证 Alauda GPU Management 已安装,并且 GPU 可被调度。

1. operator 和 operand 已就绪

确认 operator 控制器和由 ClusterPolicy 管理的组件正在运行:

kubectl get clusterpolicy
kubectl get pods -A -l app.kubernetes.io/managed-by=gpu-operator

ClusterPolicy 应进入就绪状态,并且驱动(除非处于预安装模式)、container toolkit、device plugin、GPU Feature Discovery 和 DCGM-Exporter Pod 应在 GPU 节点上运行。

2. 节点已公布 GPU 资源

检查 GPU 节点是否报告了可分配的 nvidia.com/gpu:

kubectl get node ${nodeName} -o jsonpath='{.status.allocatable}'
# The output contains "nvidia.com/gpu":"1" (the value depends on the number of GPUs)

如果该值缺失,请确认所选驱动模式下驱动运行正常,并且 device plugin Pod 正在该节点上运行。不要假设资源键;请按所示从节点可分配资源中确认。

3. 工作负载可以看到 GPU

部署一个简短的 GPU 工作负载并确认它可以访问该设备:

kubectl run -it --rm gpu-verify \
  --restart=Never \
  --image=<your-cuda-image> \
  --limits=nvidia.com/gpu=1 \
  -- nvidia-smi -L

该命令应列出 GPU。在部署 GPU 应用时,请将 GPU 作为资源限制进行请求:

spec:
  containers:
    - name: gpu
      image: your-image
      resources:
        limits:
          nvidia.com/gpu: 1   # request 1 GPU (required)

在 container toolkit 配置完成后,会应用 nvidia RuntimeClass,使容器能够访问该设备。有关完整的工作负载场景和 ACP 配额处理,请参见 请求 GPU 资源。

4. 指标(可选)

如果已启用 DCGM-Exporter,请按 DCGM-Exporter 中的说明验证 GPU 指标和仪表盘。