使用 Kueue 调度推理服务
本页介绍如何在 Alauda AI Platform 中运行 inferenceService 时,利用 Alauda Build of Kueue 的调度和资源管理功能。
先决条件
- 已安装 Alauda AI Platform。
- 已安装 Alauda Build of Kueue。
- 已安装 Alauda Build of Hami(用于演示虚拟 GPU)。
- Alauda Container Platform Web CLI 已与集群建立通信。
操作步骤
-
在 Alauda Container Platform 中创建项目和命名空间,例如,项目名称为
test,命名空间名称为test-1。 -
切换到 Alauda AI Platform,依次点击 Admin > Management Namespace 中的 Namespace Manage,然后选择先前创建的命名空间以完成管理。
-
运行以下命令创建资源:
-
在 Alauda AI Platform UI 中创建带有标签
kueue.x-k8s.io/queue-name: test的InferenceService资源: -
查看
InferenceService的 Pod:你会看到此 Pod 处于
SchedulingGated状态: -
更新
nvidia.com/total-gpucores配额:你会看到此 Pod 处于
Running状态: