Alauda GPU Management
  • 简体中文

    • 请求 GPU 资源

    在安装 Alauda GPU Management 后，工作负载通过 Kubernetes 扩展资源名称请求 NVIDIA GPU。

    本页介绍通过 Alauda GPU Management 直接分配整块 GPU 的方式。对于 NVIDIA GPU 上的 GPU 共享、内存或计算分区，或者 HAMi 调度，请参阅 HAMi 文档。

    目录

    资源键工作负载示例ACP 中的配额字段RuntimeClass 行为

    资源键

    硬件资源键单位
    NVIDIA GPUnvidia.com/gpucount

    资源键必须与 device plugin 在节点可分配资源中报告的内容一致。请从实际运行的集群中确认，不要直接假设：

    kubectl get node ${nodeName} -o jsonpath='{.status.allocatable}'

    请求多个 GPU 只需调整请求的数量；不存在单独的多 GPU 操作步骤。

    工作负载示例

    将 GPU 作为资源限制进行请求。配合由 operator 配置的 container toolkit，nvidia RuntimeClass 可让容器访问该设备。

    apiVersion: v1
kind: Pod
metadata:
  name: gpu-workload
spec:
  restartPolicy: Never
  containers:
  - name: app
    image: <your-cuda-image>
    resources:
      limits:
        nvidia.com/gpu: 1

    对于整块 GPU 工作负载，请将 nvidia.com/gpu 的 requests 设置为与 limits 相等。在此路径下，GPU 会作为完整设备分配；小数份额或共享分配属于 HAMi 的能力。

    确认工作负载可以看到 GPU：

    kubectl logs gpu-workload
# nvidia-smi -L output lists the allocated GPU

    ACP 中的配额字段

    如果某个节点已报告该资源，但 ACP 配额页面未显示，请在 ACP 中配置加速器资源元数据。请参阅 Accelerator Resource Quota。

    RuntimeClass 行为

    container toolkit 会配置 containerd 的 nvidia runtime handler。GPU 工作负载会在 nvidia RuntimeClass 下运行，以便将驱动库和设备节点注入容器中。如果您的环境需要显式设置，请在 Pod spec 中添加 runtimeClassName: nvidia。