配置超分配比例
了解超分配比例
HAMi 允许为支持的共享资源设置资源超分配比例。对于 NVIDIA 后端,常用参数为 vGPU 核心和内存缩放。超分配的目的是提高设备利用率,但不会增加单个工作负载可用的物理容量。
例如,如果将 vGPU 核心超分配比例设为 2,则单个 GPU 卡逻辑上可分配的核心总量为 200%。但是,单个 Pod 请求的 GPU 核心不能超过 100%,因为这会超出实际可用资源。可以分别为两个 Pod 分配 100% 的 vGPU 核心,这可能会出现以下情况:
-
如果 Pod A 繁忙而 Pod B 空闲,Pod A 最多可以使用 100% 的 vGPU 核心。
-
如果 Pod A 空闲而 Pod B 繁忙,Pod B 最多可以使用 100% 的 vGPU 核心。
-
如果 Pod A 和 Pod B 同时繁忙,vGPU 核心将以时间片方式进行调度。两个 Pod 轮流访问 GPU,因此每个 Pod 的有效利用率约为 50%。
关键参数
- NVIDIA Device Core Scaling:NVIDIA 设备计算资源的超分配比例。
- NVIDIA Device Memory Scaling:NVIDIA 设备内存资源的超分配比例。
配置比例
在 hami-system 中,编辑由 Alauda AI Infrastructure Accelerator Virtualization 管理的 Hami 自定义资源。
对于 NVIDIA 后端示例,请设置 spec.devicePlugin.deviceCoreScaling 和 spec.devicePlugin.deviceMemoryScaling。等待 Operator 协调 Helm release,然后验证一个具有代表性的 GPU 工作负载。不要直接编辑由 Operator 管理的 Helm release。
注意事项
-
设置 vGPU 核心的超分配比例后,多个应用的请求总量可能超过 vGPU 核心的 100%。 如果所有应用都以满负载运行,它们将竞争 GPU 总计 100% 的计算能力。因此,与使用专用 GPU 相比,每个应用的有效性能都会降低。 如果某个应用变为空闲状态,其余活动应用便可使用释放出的计算能力。
-
设置 vGPU 内存的超分配比例后,多个应用的请求总量可能超过 vGPU 内存的 100%。 如果所有请求的内存都已分配,某些应用可能会遇到
CUDA out of memory错误。 请谨慎使用内存超分配,因为这可能导致应用失败。