使用 Dynamic Resource Allocation (DRA) 进行 GPU 切分
经典的 device-plugin 模型分配的是整块 GPU:Pod 请求 nvidia.com/gpu: 1,拿到的是一整张卡,即使只是进行 LoRA 微调,也从未使用超过几个 GiB。在一块 24 GB 的 A30 上,这相当于作业实际需要的内存最多 20 倍,却一直处于闲置状态。
Dynamic Resource Allocation (DRA) —— 这是一个 resource.k8s.io/v1 API,并且已在 Kubernetes 1.34 中达到 GA —— 允许 Pod 改为请求 GPU 的一个 切片。借助 Alauda Build of NVIDIA DRA Driver for GPUs,这个切片可以是:
- 一个 MIG 分区——由硬件隔离的卡片部分(拥有自己的 SM 和 VRAM,并由 GPU 强制隔离),或者
- 一个 时间切片 / MPS 共享 的整块 GPU——多个 Pod 共享一张卡,但没有内存隔离。
本指南通过 ResourceClaimTemplate 请求一个 MIG 切片,然后在其中使用 Kubeflow Trainer v2 运行一个监督式微调。所有资源都位于 assets/dra/,并且该流程已通过仓库 e2e harness 中的 c15_dra_gpu_slice.sh 用例完成端到端验证。
目录
Device plugin 与 DRA前提条件一个切片请求中的三个对象第 1 步 — 确认驱动正在发布切片第 2 步 — 冒烟测试一个切片第 3 步 — 在切片内使用 Kubeflow Trainer v2 进行微调切片大小 / 选择 profile没有 MIG?通过时间切片共享整块 GPU将切片与 Kueue 配额结合使用将同一个 claim 接入其他 orchestrator将其改造成真实微调准备 GPU 节点和 DRA 驱动(管理员)在节点上准备 MIG profile故障排查Device plugin 与 DRA
DRA 并不会替代调度器或 Kueue——它改变的是如何描述和声明设备。配额、优先级和抢占仍然有效(参见 将切片与 Kueue 配额结合使用)。
前提条件
DeviceClass 和 ResourceSlice 是 cluster-scoped,由驱动/管理员拥有。ResourceClaimTemplate 和 ResourceClaim 是 namespaced,由你创建。ResourceClaimTemplate 必须位于引用它的 Pod 所在的同一 namespace 中。
一个切片请求中的三个对象
DeviceClass(由驱动创建)定义一种设备类型和一个基础选择器。Alauda Build of NVIDIA DRA Driver for GPUs 提供了gpu.nvidia.com(整块 GPU)和mig.nvidia.com(MIG 切片)。ResourceClaimTemplate(由你创建)表示“从这个 class 中给每个 Pod 分配一个设备,并匹配这个 CEL selector”。调度器会据此为每个 Pod 生成一个ResourceClaim。- Pod 在
spec.resourceClaims中引用该模板,而 container 通过resources.claims选择启用。整个过程完全不使用任何nvidia.com/*limit。
第 1 步 — 确认驱动正在发布切片
只要安装了驱动,DeviceClass 就会存在,但只有当 kubelet-plugin 为节点上的 GPU 发布了 ResourceSlices 后,Pod 才能被调度:
如果 get resourceslices 为空,说明驱动已安装,但尚未在任何节点上发布设备——请先跳转到 准备 GPU 节点和 DRA 驱动,然后再继续。
检查已发布的设备,以了解你的 CEL selector 可以匹配的确切属性键和值——不要假设 profile 字符串;请从你的集群中读取:
第 2 步 — 冒烟测试一个切片
在将 DRA 接入训练作业之前,先使用 dra-smoke-pod.yaml 验证驱动是否确实能为你分配一个切片。它会请求一个 MIG 切片并打印 container 看到的内容:
你应该能看到该切片的降低后的内存上限——例如 1g.6gb 大约是 6 GiB,而不是整块卡的 24 GiB——这正是它的目的:
从控制平面检查分配结果:
第 3 步 — 在切片内使用 Kubeflow Trainer v2 进行微调
dra-sft-trainingruntime.yaml 这个 TrainingRuntime 是一个普通的 Trainer v2 runtime,只包含两个 DRA hook,并且没有 nvidia.com/* limit:
它的训练脚本是自包含的——它会构建一个小型 causal-LM,将其封装为 LoRA adapter,并在合成数据集上训练,因此运行时无需下载模型或数据集,并且大约一分钟即可完成。这使它非常适合在离线 GPU 节点上安全运行并验证切片是否可用。若要将其用于生产微调,只需替换为真实的 base model 和数据集即可(参见 将其改造成真实微调);DRA 的接入方式保持不变。
应用 runtime 并提交作业:
跟踪直到完成:
成功时如下:
peak_mem 明显低于切片的 total_mem,说明该微调完全运行在其分区内。在第一个 TrainJob 运行时再启动第二个:在一张被分成四个 1g.6gb 切片的卡上,最多可以有四个微调并发且相互隔离地运行在一块物理 GPU 上——彼此看不到对方的内存。
切片大小 / 选择 profile
修改 mig-slice-resourceclaimtemplate.yaml 中 CEL selector 里的 MIG profile:
典型 profile(请根据你的 ResourceSlices 确认精确字符串——几何配置是按 GPU 而定的):
请选择能轻松容纳你的 model + LoRA + optimizer state + activations 的最小 profile。0.5–1.5B 模型的 LoRA 适合 1g.6gb;7B QLoRA 通常需要 2g.12gb 及以上。
没有 MIG?通过时间切片共享整块 GPU
如果 GPU 不支持 MIG,或者你不想对其进行分区,shared-gpu-resourceclaimtemplate.yaml 会通过一个 opaque 的 GpuConfig 请求通过时间切片共享的整块 GPU:
改为让 runtime 使用这个模板(resourceClaimTemplateName: shared-gpu-timeslice)——其余部分无需更改。e2e case 使用 DRA_SLICE_MODE=shared 来执行的正是这条路径。
将切片与 Kueue 配额结合使用
DRA 关注的是设备的形状;Kueue 关注的是谁可以使用多少。Kueue 能理解 DRA 的 DeviceClass,因此 ClusterQueue 可以像对 nvidia.com/gpu 一样,对 mig.nvidia.com 设备设置配额——按切片预算接纳 TrainJobs,并在更高优先级作业需要切片时抢占借用者。[Preemptible TrainJobs with Kueue](./preemptible-trainjobs-with-kueue) 指南中的 cohort 模式可以原样使用;只需将 ResourceFlavor 中受覆盖的资源替换为 DRA device class 即可。(Kueue 中对 DRA 的支持仍在演进——在生产环境依赖它之前,请先根据你的 Kueue 版本进行验证。)
将同一个 claim 接入其他 orchestrator
DRA hooks 位于 Pod spec 中,因此任何允许你塑造 Pod 的系统都可以请求一个切片——Trainer v2 只是其中一个调用方:
- Kubeflow Pipelines (KFP v2): 通过
kfp-kubernetes平台配置(或一个 pod-spec patch)将resourceClaims/resources.claims附加到任务的 Pod 上,从而让 pipeline component 在一个切片上运行。 - Volcano / 普通
Job/Pod: 这两个 hook 与 smoke Pod 完全字节级一致——设置spec.resourceClaims以及 container 的resources.claims即可。
smoke Pod 就是这些场景的最小模板。
将其改造成真实微调
随附的脚本训练的是一个合成模型,以便可以离线验证切片。若要在切片上微调真实模型,请保留这两个 DRA hook,并将容器替换为真实 recipe——例如 使用 Kubeflow Trainer v2 进行微调 中的 LlamaFactory runtime,其中 dataset-initializer / model-initializer 步骤会将 base model 和数据集下载到共享 PVC 上。对该 runtime 的唯一修改是删除 nvidia.com/gpualloc / gpucores / gpumem limits,并添加 spec.resourceClaims + resources.claims。根据模型大小选择合适的 MIG profile(0.6B LoRA 适合 1g.6gb;7B QLoRA 需要 2g.12gb 及以上)。
准备 GPU 节点和 DRA 驱动(管理员)
Alauda Build of NVIDIA DRA Driver for GPUs 会安装一个 controller,以及一个由节点标签控制的 kubelet-plugin DaemonSet。只要 GPU 节点没有该标签,插件就不会发布任何 ResourceSlices,而 DRA Pod 会一直处于 Pending 状态。
对于整块 GPU / 时间切片的 claim,你只需要这些——此时插件会为每张卡发布一个 gpu.nvidia.com 设备,你可以直接跳到 冒烟测试一个切片。MIG 切片则需要下面的额外准备。
在节点上准备 MIG profile
在驱动发放它们之前,MIG 切片必须已经存在于卡上。 Alauda Build of NVIDIA DRA Driver for GPUs 不会按需创建 MIG 分区——它只会暴露已经存在的 MIG 设备。如果已启用 MIG 模式但尚未创建任何实例,kubelet-plugin 会因 invalid CDI Spec: no devices 而进入 crash-loop。因此,管理员需要在每个 GPU 节点上创建一次 MIG profile(所有 nvidia-smi 命令都在节点宿主机上运行——通过特权 Pod 或 SSH):
profile 的ID、名称以及每个实例的内存容量都与硬件相关,并且 nvidia-smi mig -lgip 显示的名称可能与驱动发布的 profile 属性不同——例如,A30 上显示为 2g.6gb 的 GPU-instance profile,在 DRA 中可能会暴露为 1g.6gb。不要从本示例硬编码。 请先在第 2 步中读取你卡上的真实 profile,然后再读取下面发布出来的 profile 字符串,并让你的 ResourceClaimTemplate 的 CEL selector 与之匹配。
使用 nvidia-smi mig -cgi 创建的 MIG 实例并不一定能在 GPU 或节点重置后保留下来。请在重启后重新创建它们,或者使用驱动的 MIG-config 工具 / 启动时 unit 来自动创建。
最后,重启 kubelet-plugin Pod,使其重新枚举这张卡并发布 MIG ResourceSlices,然后读取你的 CEL selector 必须匹配的精确 profile 字符串:
一块物理 GPU 只能由一个 device plugin 管理。 NVIDIA DRA kubelet-plugin 与经典 device plugin(例如 HAMi 的 nvidia.com/gpualloc,或标准的 nvidia.com/gpu plugin)不能同时管理同一张卡——它们会重复预订。请将某个节点(或某块特定 GPU)专门留给 DRA,并确保其他 plugin 不会选中它。在另一插件正在服务的卡上启用 MIG 模式会干扰该插件所运行的工作负载。
故障排查
为了对整个流程进行可重复的覆盖,c15_dra_gpu_slice.sh 用例会应用模板、runtime 和 TrainJob,并断言微调在切片内完成。当不存在 gpu.nvidia.com ResourceSlices 时,它会自动跳过,因此在仅使用 device plugin 的集群上也会保持通过。