管理推理服务
推理服务功能的核心定义是:将训练好的机器学习或深度学习模型部署为可在线调用的服务,使用 HTTP API 或 gRPC 等协议,使应用能够实时或批量使用模型的预测、分类、生成等功能。该功能主要解决模型训练完成后如何高效、稳定、便捷地将模型部署到生产环境,并提供可扩展的在线服务。
优势
- 简化模型部署流程,降低部署复杂度。
- 提供高可用、高性能的在线和批量推理服务。
- 支持动态模型更新和版本管理。
- 实现模型推理服务的自动化运维和监控。
核心功能
直接部署模型为推理服务
- 允许用户部署 Model Catalog 中的 artifact、Model Registry 中选定的活动版本,或直接从 PVC 挂载模型。系统会自动下载、缓存并加载模型,启动推理服务。
推理服务应用
- 使用 Kubernetes 应用作为推理服务。这种方式更加灵活,用户可以根据需求自定义推理环境。
推理服务模板管理
- 支持创建、管理和删除推理服务模板,用户可以基于预定义模板快速部署推理服务。
推理服务批量操作
- 支持对多个推理服务执行批量启动、停止、更新和删除等操作。
- 支持批量推理任务的创建、监控和结果导出。
- 提供批量资源管理,可批量分配和调整推理服务的资源。
推理体验
- 提供交互式界面,方便用户测试和体验推理服务。
- 支持多种输入和输出格式,满足不同应用场景的需求。
- 提供模型性能评估工具,帮助用户优化模型部署。
推理运行时支持
- 集成多种主流推理框架,例如 vLLM、Seldon MLServer 等,并支持用户自定义推理运行时。
- vLLM:针对 DeepSeek/Qwen 等大语言模型(LLM)进行了优化,支持高并发处理,并以更高的资源利用率提升吞吐量。
- MLServer:面向传统 ML 模型(XGBoost/图像分类),提供多框架兼容性并简化调试。
访问方式、日志、Swagger、监控等
- 提供多种访问方式,例如 HTTP API 和 gRPC。
- 支持详细的日志记录和分析,方便用户排查问题。
- 自动生成 Swagger 文档,方便用户集成和调用推理服务。
- 提供实时监控和告警功能,确保服务稳定运行。
创建推理服务
步骤 1:访问推理服务创建页面
有两种方式可以开始发布推理服务:
- 从 Model Catalog 创建:在 User View 中打开 AI Hub > Model Catalog,选择目录模型,然后点击 Create Inference API。
- 从 Model Registry 创建:在 User View 中打开 AI Hub > Model Registry,选择活动的已注册模型版本,然后点击 Create Inference API 或 Deploy。
- 从 Inference Service 创建:打开 AI Hub > Inference Service,然后选择 Create Inference Service。
自定义发布推理服务需要手动设置参数。你也可以组合输入参数创建一个“模板”,以便快速发布推理服务。
步骤 2:配置模型元数据(如有需要)
如果 Create Inference API 不可用,请确认目录条目或已注册模型版本包含 artifact URI,以及所需的任务和框架元数据。对于已注册模型,可在 Model Registry 详情页更新标签或自定义属性。模型版本必须处于活动状态(LIVE)后才能部署。
步骤 3:选择发布模式并进行配置
进入 Publish Mode Selection 页面。AML 提供 Custom Publish 和 Template Publish 两种选项。
-
Template Publish:
- 选择模型,然后点击 Template Name
- 进入模板发布表单,其中会预加载模板中的参数,但仍可手动编辑
- 点击 Publish 部署推理服务
-
Custom Publish:
- 点击 Custom Publish
- 进入自定义发布表单并配置参数,包括 Model Source(Model Catalog、Model Registry、Connection 或 Persistent Volume Claim,具体取决于安装的版本)。
- 点击 Publish 部署推理服务
步骤 4:监控和管理推理服务
你可以在左侧导航栏的 Inference Service 下查看已发布推理服务的状态、日志和其他详细信息。如果推理服务启动失败或运行资源不足,可能需要更新或重新发布推理服务,并修改可能导致启动失败的配置。
注意: 推理服务会根据请求流量,在“最小副本数”和“最大副本数”之间自动扩缩容。如果“最小副本数”设置为 0,推理服务在一段时间内没有请求时会自动暂停并释放资源。此时如果收到请求,推理服务可以自动启动并加载缓存于 PVC 中的模型。
AML 基于 kserve InferenceService CRD 完成云原生推理服务的发布和运行。如果你熟悉 kserve 的使用,也可以在“直接从模型发布推理服务”时点击右上角的“YAML”按钮,直接修改 YAML 文件,以完成更高级的发布操作。
模型发布参数说明
推理服务模板管理
AML 引入了 Template Publish,用于快速部署推理服务。你可以创建和删除模板(更新模板需要创建新模板)。
步骤 1:创建模板
- 在左侧导航栏中,点击 Inference Service > Create Inference Service
- 点击 Custom Publish
- 进入表单页面并配置参数
- 点击 Create Template
步骤 2:从现有模板创建新模板
- 在左侧导航栏中,点击 Inference Service > Create Inference Service
- 选择模型,然后点击 Template Name
- 根据需要编辑参数
- 点击 Create Template,保存为新模板
步骤 3:删除模板
- 在左侧导航栏中,点击 Inference Service > Create Inference Service
- 在模板卡片上点击 Actions > Delete
- 确认删除
更新推理服务
- 在左侧导航栏中,点击 Inference Service。
- 点击推理服务名称。
- 在推理服务详情页中,点击右上角的 Actions > Update 进入更新页面。
- 修改所需字段,然后点击 Update。系统将执行滚动更新,避免中断现有客户端请求。
调用已发布的推理服务
AML 为常见任务类型提供可视化的 “Inference Experience” 方式来访问已发布的推理服务;你也可以使用 HTTP API 方式调用推理服务。
推理体验
AML 支持以下任务类型的推理服务演示(任务类型在模型元数据中指定):
- 文本生成
- 文本分类
- 图像分类
- 文本到图像
成功发布上述任务类型的推理服务后,你可以在模型详情页和推理服务详情页右侧显示 “Inference Experience” 对话框。根据推理任务类型的不同,输入和输出数据类型可能不同。以文本生成为例,输入文本后,模型生成的文本会以蓝色字体追加在文本框中已输入的文本之后。 推理体验支持选择部署在不同集群中的、由同一模型多次发布的不同推理服务。选择推理服务后,系统将调用该推理服务并返回推理结果。
通过 HTTP API 调用
发布推理服务后,你可以在应用或其他服务中调用该推理服务。本文将以 Python 代码为例,演示如何调用已发布的推理 API。
-
在左侧导航栏中点击 Inference Service > Inference Service Name,进入推理服务详情页。
-
点击 Access Method 选项卡,获取集群内或集群外访问方式。集群内访问方式可直接从此 K8s 集群中的 Notebook 或其他容器访问。如果需要从集群外部的位置(例如本地笔记本电脑)访问,则需要使用集群外访问方式。
-
点击 Call Example 查看示例代码。
注意:调用示例中提供的代码仅适用于使用 mlserver 运行时(Seldon MLServer)发布的推理服务所支持的 API 调用协议。此外,Swagger 选项卡也仅支持访问由 mlserver 运行时发布的推理服务。
推理参数说明
调用推理服务时,可以通过调整模型推理参数来调整模型输出效果。 在 Inference Experience 界面中已预置常用参数及其默认值,也可以添加自定义参数。
不同任务类型的参数说明
文本生成
预置参数
其他参数
有关更多参数,请参阅文本生成参数配置。
文本到图像
预置参数
其他参数
有关更多参数,请参阅文本到图像参数配置。
文本分类
预置参数
有关更多参数,请参阅文本分类参数配置