管理推理服务

推理服务功能的核心定义是:将训练好的机器学习或深度学习模型部署为可在线调用的服务,使用 HTTP API 或 gRPC 等协议,使应用能够实时或批量使用模型的预测、分类、生成等功能。该功能主要解决模型训练完成后如何高效、稳定、便捷地将模型部署到生产环境,并提供可扩展的在线服务。

优势

  • 简化模型部署流程,降低部署复杂度。
  • 提供高可用、高性能的在线和批量推理服务。
  • 支持动态模型更新和版本管理。
  • 实现模型推理服务的自动化运维和监控。

核心功能

直接部署模型为推理服务

  • 允许用户部署 Model Catalog 中的 artifact、Model Registry 中选定的活动版本,或直接从 PVC 挂载模型。系统会自动下载、缓存并加载模型,启动推理服务。

推理服务应用

  • 使用 Kubernetes 应用作为推理服务。这种方式更加灵活,用户可以根据需求自定义推理环境。

推理服务模板管理

  • 支持创建、管理和删除推理服务模板,用户可以基于预定义模板快速部署推理服务。

推理服务批量操作

  • 支持对多个推理服务执行批量启动、停止、更新和删除等操作。
  • 支持批量推理任务的创建、监控和结果导出。
  • 提供批量资源管理,可批量分配和调整推理服务的资源。

推理体验

  • 提供交互式界面,方便用户测试和体验推理服务。
  • 支持多种输入和输出格式,满足不同应用场景的需求。
  • 提供模型性能评估工具,帮助用户优化模型部署。

推理运行时支持

  • 集成多种主流推理框架,例如 vLLM、Seldon MLServer 等,并支持用户自定义推理运行时。
TIP
  • vLLM:针对 DeepSeek/Qwen 等大语言模型(LLM)进行了优化,支持高并发处理,并以更高的资源利用率提升吞吐量。
  • MLServer:面向传统 ML 模型(XGBoost/图像分类),提供多框架兼容性并简化调试。

访问方式、日志、Swagger、监控等

  • 提供多种访问方式,例如 HTTP API 和 gRPC。
  • 支持详细的日志记录和分析,方便用户排查问题。
  • 自动生成 Swagger 文档,方便用户集成和调用推理服务。
  • 提供实时监控和告警功能,确保服务稳定运行。

创建推理服务

步骤 1:访问推理服务创建页面

有两种方式可以开始发布推理服务:

  1. 从 Model Catalog 创建:在 User View 中打开 AI Hub > Model Catalog,选择目录模型,然后点击 Create Inference API。
  2. 从 Model Registry 创建:在 User View 中打开 AI Hub > Model Registry,选择活动的已注册模型版本,然后点击 Create Inference API 或 Deploy。
  3. 从 Inference Service 创建:打开 AI Hub > Inference Service,然后选择 Create Inference Service。
TIP

自定义发布推理服务需要手动设置参数。你也可以组合输入参数创建一个“模板”,以便快速发布推理服务。

步骤 2:配置模型元数据(如有需要)

如果 Create Inference API 不可用,请确认目录条目或已注册模型版本包含 artifact URI,以及所需的任务和框架元数据。对于已注册模型,可在 Model Registry 详情页更新标签或自定义属性。模型版本必须处于活动状态(LIVE)后才能部署。

步骤 3:选择发布模式并进行配置

进入 Publish Mode Selection 页面。AML 提供 Custom Publish 和 Template Publish 两种选项。

  1. Template Publish:

    • 选择模型,然后点击 Template Name
    • 进入模板发布表单,其中会预加载模板中的参数,但仍可手动编辑
    • 点击 Publish 部署推理服务
  2. Custom Publish:

    • 点击 Custom Publish
    • 进入自定义发布表单并配置参数,包括 Model Source(Model Catalog、Model Registry、Connection 或 Persistent Volume Claim,具体取决于安装的版本)。
    • 点击 Publish 部署推理服务

步骤 4:监控和管理推理服务

你可以在左侧导航栏的 Inference Service 下查看已发布推理服务的状态、日志和其他详细信息。如果推理服务启动失败或运行资源不足,可能需要更新或重新发布推理服务,并修改可能导致启动失败的配置。

注意: 推理服务会根据请求流量,在“最小副本数”和“最大副本数”之间自动扩缩容。如果“最小副本数”设置为 0,推理服务在一段时间内没有请求时会自动暂停并释放资源。此时如果收到请求,推理服务可以自动启动并加载缓存于 PVC 中的模型。

AML 基于 kserve InferenceService CRD 完成云原生推理服务的发布和运行。如果你熟悉 kserve 的使用,也可以在“直接从模型发布推理服务”时点击右上角的“YAML”按钮,直接修改 YAML 文件,以完成更高级的发布操作。

模型发布参数说明

参数描述
Name必填,推理 API 的名称。
Description推理 API 的详细描述,用于说明其功能和用途。
Model Location必填,选择模型文件的来源:Model repository 或 PVC。
Model PVC当 Model Location 为 PVC 时必填。选择包含模型文件的现有 PVC。
Model PVC Path当 Model Location 为 PVC 时必填。指定 PVC 中模型所在的路径。
Model Type当 Model Location 为 PVC 时必填。在 Generative AI model 或 Predictive Model 中选择。此选择决定可用的 Runtimes。
Model当 Model Location 为 Model repository 时必填。用于推理的模型名称。
Version当 Model Location 为 Model repository 时必填。模型版本。选项包括 Branch 和 Tag。
Inference Runtimes必填,用于推理运行时的引擎。当 Model Type 为 Generative AI model 时,可使用 llm-d 进行分布式推理。对于跨多个节点的单个模型实例,请参阅 使用 llm-d 部署多节点 vLLM 服务。
Config Source必填,选择部署资源的来源:Hardware profile 或 Custom。
Hardware Profile当 Config Source 为 Hardware profile 时必填。选择用于配置所需资源的预定义硬件配置。
Requests CPU当 Config Source 为 Custom 时必填。推理服务请求的 CPU 资源量。
Requests Memory当 Config Source 为 Custom 时必填。推理服务请求的内存资源量。
Limits CPU当 Config Source 为 Custom 时必填。推理服务可使用的最大 CPU 资源量。
Limits Memory当 Config Source 为 Custom 时必填。推理服务可使用的最大内存资源量。
GPU Acceleration Type当 Config Source 为 Custom 时可用。GPU 加速类型。
GPU Acceleration Value当 Config Source 为 Custom 时可用。GPU 加速值。
Storage Capacity当 Model Location 为 Model repository 时必填。用于缓存模型的临时存储容量。
Auto scaling启用或禁用自动扩缩容功能。
Number of instances必填,运行推理服务的实例数。
Environment variables注入容器运行时环境的键值对。
Add parameters传递给容器 entrypoint 可执行文件的参数。字符串数组(例如 ["--port=8080", "--batch_size=4"])。
Startup command覆盖容器镜像中的默认 ENTRYPOINT 指令。可执行文件 + 参数(例如 ["python", "serve.py"])

推理服务模板管理

AML 引入了 Template Publish,用于快速部署推理服务。你可以创建和删除模板(更新模板需要创建新模板)。

步骤 1:创建模板

  • 在左侧导航栏中,点击 Inference Service > Create Inference Service
  • 点击 Custom Publish
  • 进入表单页面并配置参数
  • 点击 Create Template

步骤 2:从现有模板创建新模板

  • 在左侧导航栏中,点击 Inference Service > Create Inference Service
  • 选择模型,然后点击 Template Name
  • 根据需要编辑参数
  • 点击 Create Template,保存为新模板

步骤 3:删除模板

  • 在左侧导航栏中,点击 Inference Service > Create Inference Service
  • 在模板卡片上点击 Actions > Delete
  • 确认删除

更新推理服务

  1. 在左侧导航栏中,点击 Inference Service。
  2. 点击推理服务名称。
  3. 在推理服务详情页中,点击右上角的 Actions > Update 进入更新页面。
  4. 修改所需字段,然后点击 Update。系统将执行滚动更新,避免中断现有客户端请求。

调用已发布的推理服务

AML 为常见任务类型提供可视化的 “Inference Experience” 方式来访问已发布的推理服务;你也可以使用 HTTP API 方式调用推理服务。

推理体验

AML 支持以下任务类型的推理服务演示(任务类型在模型元数据中指定):

  • 文本生成
  • 文本分类
  • 图像分类
  • 文本到图像

成功发布上述任务类型的推理服务后,你可以在模型详情页和推理服务详情页右侧显示 “Inference Experience” 对话框。根据推理任务类型的不同,输入和输出数据类型可能不同。以文本生成为例,输入文本后,模型生成的文本会以蓝色字体追加在文本框中已输入的文本之后。 推理体验支持选择部署在不同集群中的、由同一模型多次发布的不同推理服务。选择推理服务后,系统将调用该推理服务并返回推理结果。

通过 HTTP API 调用

发布推理服务后,你可以在应用或其他服务中调用该推理服务。本文将以 Python 代码为例,演示如何调用已发布的推理 API。

  1. 在左侧导航栏中点击 Inference Service > Inference Service Name,进入推理服务详情页。

  2. 点击 Access Method 选项卡,获取集群内或集群外访问方式。集群内访问方式可直接从此 K8s 集群中的 Notebook 或其他容器访问。如果需要从集群外部的位置(例如本地笔记本电脑)访问,则需要使用集群外访问方式。

  3. 点击 Call Example 查看示例代码。

    注意:调用示例中提供的代码仅适用于使用 mlserver 运行时(Seldon MLServer)发布的推理服务所支持的 API 调用协议。此外,Swagger 选项卡也仅支持访问由 mlserver 运行时发布的推理服务。

推理参数说明

调用推理服务时,可以通过调整模型推理参数来调整模型输出效果。 在 Inference Experience 界面中已预置常用参数及其默认值,也可以添加自定义参数。

不同任务类型的参数说明

文本生成

预置参数
参数数据类型描述
do_samplebool是否使用采样;否则使用贪心解码。
max_new_tokensint要生成的最大 token 数,不计入提示词中的 token。
repetition_penaltyfloat用于控制生成文本中重复内容的重复惩罚;1.0 表示不重复,0 表示重复。
temperaturefloat文本生成时模型对下一个 token 的随机性;1.0 表示随机性高,0 表示随机性低。
top_kint计算下一个 token 的概率分布时,仅考虑概率最高的 top k 个 token。
top_pfloat控制模型选择下一个 token 时考虑的累积概率分布。
use_cachebool是否使用模型在生成过程中计算的中间结果。
其他参数
参数数据类型描述
max_lengthint生成 token 的最大数量。对应于输入提示词中的 token 数 + max_new_tokens。如果设置了 max_new_tokens,其效果会被 max_new_tokens 覆盖。
min_lengthint生成 token 的最小数量。对应于输入提示词中的 token 数 + min_new_tokens。如果设置了 min_new_tokens,其效果会被 min_new_tokens 覆盖。
min_new_tokensint生成 token 的最小数量,不计入提示词中的 token。
early_stopbool控制基于 beam 的方法的停止条件。True:出现 num_beams 个完整候选项时停止生成。False:当不太可能找到更好的候选项时,应用启发式方法停止生成。
num_beamsintbeam search 使用的 beam 数量。1 表示不使用 beam search。
max_timeint允许运行计算的最长时间,单位为秒。
num_beam_groupsint将 num_beams 划分为多个组,以确保不同 beam 组之间的多样性。
diversity_penaltyfloat在启用 num_beam_groups 时生效。此参数在组之间应用多样性惩罚,确保每个组生成的内容尽可能不同。
penalty_alphafloat当 penalty_alpha 大于 0 且 top_k 大于 1 时启用对比搜索。penalty_alpha 值越大,对比惩罚越强,生成文本越可能符合预期。如果 penalty_alpha 值过大,可能导致生成文本过于单一。
typical_pfloat局部典型性用于衡量:预测下一个目标 token 的条件概率,与给定生成的部分文本预测下一个随机 token 的预期条件概率之间的相似度。如果设置为小于 1 的浮点数,则会保留概率总和达到或超过 typical_p 的最小局部典型 token 集合用于生成。
epsilon_cutofffloat如果设置为严格介于 0 和 1 之间的浮点数,则只对条件概率大于 epsilon_cutoff 的 token 进行采样。建议值范围为 3e-4 到 9e-4,具体取决于模型大小。
eta_cutofffloatEta sampling 是局部典型采样和 epsilon 采样的混合方式。如果设置为严格介于 0 和 1 之间的浮点数,则只有大于 eta_cutoff 或 sqrt(eta_cutoff) _ exp(-entropy(softmax(next_token_logits))) 的 token 才会被考虑。建议值范围为 3e-4 到 2e-3,具体取决于模型大小。
repetition_penaltyfloat重复惩罚参数。1.0 表示不进行惩罚。

有关更多参数,请参阅文本生成参数配置。

文本到图像

预置参数
参数数据类型描述
num_inference_stepsint去噪步骤数。更多去噪步骤通常会生成质量更高的图像,但推理速度更慢。
use_cachebool是否使用模型在生成过程中计算的中间结果。
其他参数
参数数据类型描述
heightint生成图像的高度,单位为像素。
widthint生成图像的宽度,单位为像素。
guidance_scalefloat用于调整生成图像的质量与多样性之间的平衡。值越大,多样性越高但质量越低;建议范围为 7 到 8.5。
negative_promptstr or List[str]用于指导图像生成中不应包含哪些内容。

有关更多参数,请参阅文本到图像参数配置。

文本分类

预置参数
参数数据类型描述
top_kint得分最高的类型标签数量。如果提供的数量为 None,或高于模型配置中可用标签的数量,则默认返回标签数量。
use_cachebool是否使用模型在生成过程中计算的中间结果。

有关更多参数,请参阅文本分类参数配置

其他参考

图像分类参数配置

对话参数配置

摘要参数配置

翻译参数配置

Text2Text Generation 参数配置

图像到图像参数配置