硬件配置文件管理

为了为您的数据科学家和工程师配置特定的硬件配置和约束,以便在平台上部署模型推理服务时使用,您必须创建并管理关联的硬件配置文件。硬件配置文件将节点亲和性、容忍度和资源约束封装为一个可复用的实体。

创建硬件配置文件

前提条件

  • 您已使用具有管理员权限的用户登录平台。
  • 您已确认所需的计算资源,包括 CPU、内存以及底层 Kubernetes 集群中可用的任何专用加速器(例如 GPU 型号)。
  • 您熟悉 Kubernetes 调度概念,例如 Node Selectors、Taints 和 Tolerations。

操作步骤

步骤 1:导航到硬件配置文件

从主导航菜单进入 Hardware Profile。将打开 Hardware Profiles 页面,其中显示系统中现有的硬件配置文件。

步骤 2:开始创建硬件配置文件

点击右上角的 Create hardware profile。将打开 Create hardware profile 配置页面。

步骤 3:配置基本信息

在 Basic Details 部分,为该配置文件提供标识信息:

  • Name:为硬件配置文件输入一个唯一且具有描述性的名称(例如,gpu-high-performance-profile)。
  • Description:为硬件配置文件输入清晰的描述(可选),以帮助其他用户了解其预期用途。

步骤 4:配置资源标识符(requests 和 limits)

您可以为计算资源定义约束,例如 CPU、内存或特定加速器(例如 nvidia.com/gpu)。点击 Add Identifier,或修改预先存在的资源字段。您可以添加两种类型的标识符:

  • 内置标识符:从平台配置的标准资源类型下拉列表中选择(例如 cpu、memory、nvidia.com/gpu)。对于这些内置类型,Identifier、Display Name 和 Resource Type 均由平台预定义,且不能更改。
  • 自定义标识符:输入您自己的唯一资源参数。您必须手动定义:
    • Identifier:精确的 Kubernetes 资源键(例如 nvidia.com/a100 或自定义的厂商 ASIC)。
    • Display Name:将在 UI 中显示的人类可读资源名称(例如 NVIDIA A100 GPU)。
    • Resource Type:为集群准确地对资源分类:
      • CPU / Memory:选择此项以定义标准计算边界。
      • Accelerator:主要用于任何专用 AI 芯片(如 NVIDIA GPU、AMD GPU 或 Intel Gaudi 加速器),这些芯片用于模型训练或高负载推理任务。将类型设置为 Accelerator 后,平台会明确将该依赖识别为核心 AI 计算引擎。
      • Other:用于附加到节点上的非 AI 辅助设备(例如用于 RDMA 的高速网络接口、infiniband,或特殊的存储参数)。

对于内置和自定义标识符,您都必须配置准确的分配边界:

  • Default:设置要分配的该资源的基准数量。当用户选择该配置文件时,这一数值会初始注入到其工作负载中。
  • Minimum allowed:定义可接受的最小请求数量。它充当硬性下限,以防用户为关键模型请求不足的资源。
  • Maximum allowed:可选。指定绝对最大限制。这将严格阻止用户保留超过定义容量阈值的过多集群资源。

步骤 5:配置节点调度规则

为严格控制推理工作负载会调度到哪些节点,请设置 Node Selectors 和 Tolerations。这可确保高性能工作负载落到物理上正确的节点池。

  • Node Selectors:在 Node Selectors 部分,点击 Add Node Selector。输入 Key 和 Value 约束。平台会自动注入这些键值对,以将工作负载仅限制到具有匹配标签的节点。
  • Tolerations:在 Tolerations 部分,点击 Add Toleration 以显式允许将工作负载调度到具有匹配污点的节点。定义 Key、Operator(例如 Equal、Exists)、Value、Effect(例如 NoSchedule、NoExecute)以及可选的 Toleration Seconds。与原生 Kubernetes tolerations 一样,您可以在单个硬件配置文件中添加多个 tolerations。

步骤 6:完成创建

检查您输入的配置,确保其准确无误。点击 Create 完成硬件配置文件的创建。

更新硬件配置文件

您可以更新部署中现有的硬件配置文件,以适应新的基础设施变更、硬件升级或逐步修订的资源策略。您可以可靠地更改重要的标识信息、最小和最大资源约束,或者通过节点选择器和容忍度调整集群节点放置。

步骤 1:定位硬件配置文件

从导航菜单中点击 Hardware Profile。从列表中找到您要更新的硬件配置文件。

步骤 2:编辑硬件配置文件

在相关硬件配置文件所在行的右侧,点击操作菜单(⋮),然后选择 Update。

步骤 3:修改配置

对硬件配置文件配置进行必要修改:

  • 安全地调整 Description。
  • 更新特定资源标识符的 Default、Minimum 或 Maximum allowed 阈值,以严格匹配当前集群容量。
  • 修改 Node Selectors 以目标不同的节点标签,或更新 Tolerations 以与新设置污点的工作节点保持一致。

步骤 4:应用更改

点击 Update 以永久应用您的更改。

注意:更新硬件配置文件通常只会影响后续新配置的工作负载。之前使用该硬件配置文件创建的现有部署将保留其最初注入的约束。若要将新的硬件配置文件设置强制应用到已运行的工作负载上,您必须显式编辑或重新部署相应的推理服务。

删除硬件配置文件

当某个特定硬件配置已过时,或所覆盖的 Kubernetes 节点已废弃时,您可以安全地删除其硬件配置文件。这可确保后续不会有数据科学家错误地选择过时的节点配置或无法管理的限制。

步骤 1:定位硬件配置文件

从主导航菜单中点击 Hardware Profile。找到您要删除的硬件配置文件。

步骤 2:删除

点击相关硬件配置文件行最右侧的操作菜单(⋮),然后谨慎选择 Delete。

步骤 3:确认删除

将出现一个警告对话框,要求您确认删除操作。点击 Delete。

注意:删除硬件配置文件不会删除或主动中断此前使用该配置文件部署的正在运行的推理服务。它们将继续正常运行,并保持平台 webhook 最初注入的资源限制和拓扑约束。不过,已删除的硬件配置文件会立即从所有新建部署的配置文件下拉列表中消失。

在推理服务中使用硬件配置文件

当用户(例如数据科学家、AI 工程师和开发者)动态创建或配置模型推理服务(包括 InferenceService 和 LLMInferenceService)时,他们可以高效地利用预定义的硬件配置文件。

硬件配置文件可无缝简化手动配置复杂节点调度规则和设置显式资源限制这一繁琐任务。根据您的工作负载特性,您既可以接受严格的默认配置,也可以在所选配置文件正式授权的边界内精细自定义限制。

步骤 1:启动部署表单

从导航菜单进入 Service Manage。点击 Create 以启动全新的模型推理服务部署表单。

步骤 2:选择硬件配置文件

在部署表单中,向下滚动并进入 Deployment Resources 部分。在这里,您可以先选择 Config Type 来定义资源限制:

  • 默认设置为 Hardware Profile。然后您可以点击 Profile 下拉菜单,选择平台管理员当前为您的目标计算环境启用的特定硬件配置文件。
  • 或者,如果您希望绕过预定义配置文件并手动提供原始 Kubernetes 资源限制,也可以选择 Custom。

步骤 3:查看并自定义资源分配

选择硬件配置文件后,表单会安全地锁定管理员策划的相应基线定义。不过,您仍然可以细化精确的资源限制:

  • 若要查看管理员定义的边界,请点击配置文件下拉菜单旁边的 View Detail 按钮。这将打开一个信息抽屉或模态框,明确展示硬件配置文件的详细信息,包括已配置的节点规则以及 CPU、Memory 和 GPU 的绝对限制。
  • 根据您的具体工作负载需求,点击硬件配置文件部分下方动态显示的 Custom Configuration 按钮。自定义 requests 和 limits 必须严格保持在硬件配置文件定义的最小和最大约束范围内。
  • 触发此自定义后,您将获得直接修改推理服务最终 Requests 和 Limits 配置的能力。如果您提交了无效的请求参数,验证引擎会优雅地捕获偏差并向您显示验证错误。

步骤 4:部署

填写服务的其余参数,然后点击 Deploy。