快速开始

本文旨在帮助新用户快速了解如何在 Alauda AI 中部署推理服务。通过部署一个简单的“文本生成”推理服务并进行体验,您可以快速掌握平台的主要功能和使用方法。

预计阅读时间

预计完成本文的阅读和操作大约需要 20 分钟。

注意事项

本文仅演示基本流程。有关详细的参数配置,请参考完整文档。

前提条件

  • 您已经拥有平台管理员账号(用于创建和管理命名空间)。
  • 您已准备好待部署的模型文件(可提前从 Hugging Face 或 ModelScope 等网站下载)。
  • 如果需要使用 GPU 推理,请确保已安装 GPU 插件;如果尚未安装,请前往平台管理的插件中心安装 GPU 插件。
  • 您了解 Kubernetes 和机器学习模型的基本概念。

步骤概览

步骤操作描述备注
1创建命名空间在 Alauda AI 或容器平台中创建一个命名空间如果您已经有命名空间,可跳过此步骤
2管理命名空间并添加用户将命名空间纳入 Alauda AI 管理并向其中添加用户如果命名空间已经受管理且已配置用户权限,可跳过此步骤
3上传模型将模型文件上传到模型仓库如果您已经上传过模型,或正在使用平台共享模型,可跳过此步骤
4发布推理服务将模型发布为在线推理服务
5调用推理服务通过 API 或“体验”功能调用推理服务

操作步骤

步骤 1:创建命名空间

注意:如果您已经有命名空间,可跳过此步骤

命名空间是 Alauda AI 中多租户隔离的基础,每个项目都应使用独立的命名空间。您可以直接在 Alauda AI 中创建命名空间,也可以从容器平台导入已有命名空间。

  1. 进入 Alauda AI,并在顶部导航中切换到 管理员视图。
  2. 点击左侧导航栏中的 命名空间。
  3. 点击 创建命名空间,并输入名称,例如 "text-classification-demo"。
  4. 点击 创建,完成命名空间创建。

如果该命名空间已存在于容器平台中,请在 命名空间 页面点击 导入命名空间,选择要导入到 Alauda AI 的命名空间。

步骤 2:管理命名空间并添加用户

注意:如果命名空间已经受管理且已配置用户权限,可跳过此步骤

将已创建的命名空间纳入 Alauda AI 管理,并向命名空间中添加用户:

  1. 进入 Alauda AI,并在顶部导航中切换到 管理员视图。
  2. 点击左侧导航栏中的 命名空间。
  3. 如果该命名空间尚未由 Alauda AI 管理,请点击 导入命名空间,选择新创建的 "text-classification-demo" 命名空间并完成导入。
  4. 打开命名空间编辑页面,点击 成员管理。
  5. 导入需要使用该命名空间的用户,并为其分配以下角色之一:
    • Owner:可管理命名空间,并将其他成员导入为编辑者或查看者。Owner 不能再导入另一位 Owner。
    • Editor:可使用该命名空间创建和管理 AI 资源。
    • Viewer:可查看该命名空间中的资源。

步骤 3:上传模型

注意:如果您已经上传过模型,或正在使用平台共享模型,可跳过此步骤

将文本分类模型上传到模型仓库:

  1. 进入 Alauda AI,在顶部导航中选择 用户视图,并选择上一步中管理好的命名空间。
  2. 点击左侧导航栏中的 模型仓库,点击 创建模型仓库,并输入准备好的模型名称,例如 "Meta-Llama-3-8B-Instruct"。
  3. 有关完成模型上传的详细步骤,请参考 创建模型仓库。
  4. 在 文件管理 选项卡中,点击 更新元数据,并根据大模型的属性选择正确的“任务类型”和“框架”。
    • 任务类型:模型本身的属性,可通过查看模型下载详情页上的标签获取。分为“文本生成”、“图像生成”等。
    • 框架:同样是模型本身的属性,可通过查看模型下载详情页上的标签获取。分为“Transformers”、“MLflow”等。大多数流行的开源大语言模型都属于 “Transformers” 类型。

步骤 4:发布推理服务

将模型发布为在线推理服务:

  1. 在模型详情页中,点击 发布推理 API > 自定义发布。
  2. 配置服务参数:
    • 名称:meta-llama-3-8b-service
    • 模型:Meta-Llama-3-8B-Instruct
    • 版本:Branch-main
    • 推理运行时:需要根据 GPU 节点中安装的 cuda 版本进行选择。例如,如果安装的是 cuda12.6 或更高版本,则选择 "vllm-cuda12.6-x86"。
    • 资源请求:2CPU/20Gi Memory
    • 资源限制:2CPU/20Gi Memory
    • GPU 加速:HAMi NVIDIA
      • gpu number: 1
      • vgpu cores: 50
      • GPU vmemory: 23552
    • 存储:挂载现有 PVC/容量 10Gi
    • 自动扩缩:关闭
    • 实例数量:1
  3. 点击 发布,并等待服务启动。
  4. 在 推理服务 页面查看服务状态。

步骤 5:调用推理服务

测试已发布的推理服务:

  1. 点击左侧导航栏中的 推理服务,点击“已发布推理服务”的名称,并在推理服务详情页中点击 体验。
  2. 输入测试文本,例如 "Recommend a few good books"。
  3. 查看模型返回的生成文本和生成参数。