快速开始

本文旨在帮助新用户快速了解如何在 Alauda AI Platform 中部署推理服务。通过部署并体验一个简单的“文本生成”推理服务,您可以快速掌握平台的主要功能和使用方法。

预计阅读时间

预计阅读并完成本文中的操作需要约 20 分钟。

注意事项

本文仅演示基本流程。有关详细的参数配置,请参阅完整文档。

前提条件

  • 您已有平台管理员账号(用于创建和管理命名空间)。
  • 您已准备好要部署的模型文件(可提前从 Hugging Face 或 ModelScope 等网站下载)。
  • 如果需要使用 GPU 推理,请确保已安装 GPU 插件。如果尚未安装,请在平台管理插件中心安装 GPU 插件。
  • 您了解 Kubernetes 和机器学习模型的基本概念。

步骤概览

步骤操作说明备注
1创建命名空间在 Alauda AI Platform 或容器平台中创建命名空间如果已有命名空间,可跳过此步骤
2管理命名空间并添加用户将命名空间纳入 Alauda AI Platform 管理,并向命名空间添加用户如果命名空间已受管理且已配置用户权限,可跳过此步骤
3准备并注册模型将模型存储在 S3、PVC 或 OCI 存储中并注册其 Model URI,或使用平台共享的 Model Catalog 条目如果已有已注册模型或正在使用目录模型,可跳过此步骤
4发布推理服务将模型发布为在线推理服务
5调用推理服务通过 API 或“体验”功能调用推理服务

操作步骤

步骤 1:创建命名空间

注意:如果您已有命名空间,可跳过此步骤。

命名空间是 Alauda AI Platform 实现多租户隔离的基础,每个项目都应使用独立的命名空间。您可以直接在 Alauda AI Platform 中创建命名空间,也可以从容器平台导入现有命名空间。

  1. 进入 Alauda AI Platform,并在顶部导航栏中切换到 Admin View。
  2. 点击左侧导航栏中的 Namespaces。
  3. 点击 Create Namespace 并输入名称,例如“text-classification-demo”。
  4. 点击 Create,完成命名空间创建。

如果命名空间已存在于容器平台中,请在 Namespaces 页面点击 Import Namespace,然后选择要导入到 Alauda AI Platform 的命名空间。

步骤 2:管理命名空间并添加用户

注意:如果命名空间已受管理且已配置用户权限,可跳过此步骤。

将创建的命名空间纳入 Alauda AI Platform 管理,并向命名空间添加用户:

  1. 进入 Alauda AI Platform,并在顶部导航栏中切换到 Admin View。
  2. 点击左侧导航栏中的 Namespaces。
  3. 如果命名空间尚未由 Alauda AI Platform 管理,请点击 Import Namespace,选择新创建的“text-classification-demo”命名空间,然后完成导入。
  4. 打开命名空间编辑页面并点击 Member Management。
  5. 导入需要使用此命名空间的用户,并为其分配以下角色之一:
    • Owner:可以管理命名空间,并将其他成员导入为 Editor 或 Viewer。Owner 不能导入其他 Owner。
    • Editor:可以使用命名空间创建和管理 AI 资源。
    • Viewer:可以查看命名空间中的资源。

步骤 3:准备并注册模型

注意:如果您已有已注册模型或正在使用平台共享的 Model Catalog 条目,可跳过此步骤。

将文本分类模型存储在受支持的后端中并注册:

  1. 进入 Alauda AI Platform,在顶部导航栏中选择 User View,然后选择上一步中管理的命名空间。
  2. 将模型存储在 S3、已挂载的 PVC 或 OCI registry 中。记录其 Model URI,例如 s3://models/Meta-Llama-3-8B-Instruct。
  3. 打开 AI Hub > Model Registry,选择 Register Model,选择一个 Model Registry,输入模型名称和版本,并提供 Model URI。
  4. 按需在 registry 元数据中设置模型任务和框架。大多数热门开源 LLM 使用 transformers 框架和 text-generation 任务。
  5. 如果模型已在 AI Hub > Model Catalog 中提供,请改为打开其目录详情,然后使用 Create Inference API 或 Register Model。

有关在 Workbench 中上传模型的说明,请参阅使用 Workbench 上传模型。有关注册说明,请参阅Model Registry。

步骤 4:发布推理服务

将模型发布为在线推理服务:

  1. 在模型详情页面点击 Create Inference API。对于 Model Registry 模型,请选择启用的 Version;对于目录模型,系统会自动选择目录制品。
  2. 配置服务参数:
    • Name:meta-llama-3-8b-service
    • Model Source:Model Catalog 或 Model Registry
    • Model:Meta-Llama-3-8B-Instruct
    • Version:Version 1(使用 Model Registry 时)
    • Inference Runtimes:需要根据 GPU 节点上安装的 cuda 版本进行选择。例如,如果安装的是 cuda12.6 或更高版本,请选择“vllm-cuda12.6-x86”。
    • Resource Requests:2CPU/20Gi Memory
    • Resource Limits:2CPU/20Gi Memory
    • GPU Acceleration:HAMi NVIDIA
      • gpu number:1
      • vgpu cores:50
      • GPU vmemory:23552
    • Storage:使用制品已配置的存储,或挂载现有 PVC
    • Auto Scaling:Off
    • Number of instances:1
  3. 点击 Publish 并等待服务启动。
  4. 在 Inference Services 页面查看服务状态。

步骤 5:调用推理服务

测试已发布的推理服务:

  1. 点击左侧导航栏中的 Inference Services,再点击“Published Inference Service”的名称,然后在推理服务详情页面点击 Experience。
  2. 输入测试文本,例如“推荐几本好书”。
  3. 查看模型返回的生成文本和生成参数。