快速开始

本文旨在帮助新用户快速了解如何在 Alauda AI 中部署推理服务。通过部署一个简单的“文本生成”推理服务并进行体验,您可以快速掌握平台的主要功能和使用方法。

预计阅读时间

预计完成本文的阅读和操作大约需要 20 分钟。

注意事项

本文仅演示基本流程。关于详细的参数配置,请参考完整文档。

前提条件

  • 您已经拥有平台管理员账户(用于创建和管理 namespace)。
  • 您已准备好要部署的模型文件(可以提前从 Hugging Face 或 ModelScope 等网站下载)。
  • 如果需要使用 GPU 推理,请确保已安装 GPU 插件。如果尚未安装,请在平台管理插件中心安装 GPU 插件。
  • 您了解 Kubernetes 和机器学习模型的基本概念。

步骤概览

步骤操作说明备注
1创建 Namespace在 Alauda AI 或容器平台中创建 namespace如果您已经有 namespace,可跳过此步骤
2管理 Namespace 并添加用户将 namespace 纳入 Alauda AI 管理并向其中添加用户如果 namespace 已受管理且已配置用户权限,可跳过此步骤
3上传模型将模型文件上传到模型仓库如果您已经上传了模型,或正在使用平台共享模型,可跳过此步骤
4发布推理服务将模型发布为在线推理服务
5调用推理服务通过 API 或“体验”功能调用推理服务

操作步骤

步骤 1:创建 Namespace

注意:如果您已经有 namespace,可跳过此步骤

Namespace 是 Alauda AI 中多租户隔离的基础,每个项目都应使用独立的 namespace。您可以直接在 Alauda AI 中创建 namespace,也可以从容器平台导入已有的 namespace。

  1. 进入 Alauda AI,并从顶部导航切换到 Admin View。
  2. 点击左侧导航栏中的 Namespaces。
  3. 点击 Create Namespace,输入名称,例如 “text-classification-demo”。
  4. 点击 Create 完成 namespace 创建。

如果该 namespace 已存在于容器平台中,请在 Namespaces 页面点击 Import Namespace,然后选择要导入到 Alauda AI 的 namespace。

步骤 2:管理 Namespace 并添加用户

注意:如果 namespace 已受管理且已配置用户权限,可跳过此步骤

将已创建的 namespace 纳入 Alauda AI 管理,并向 namespace 中添加用户:

  1. 进入 Alauda AI,并从顶部导航切换到 Admin View。
  2. 点击左侧导航栏中的 Namespaces。
  3. 如果该 namespace 尚未被 Alauda AI 管理,请点击 Import Namespace,选择新创建的 “text-classification-demo” namespace,并完成导入。
  4. 打开 namespace 编辑页面,点击 Member Management。
  5. 导入需要使用此 namespace 的用户,并为该用户分配以下角色之一:
    • Owner:可管理该 namespace,并将其他成员导入为 editor 或 viewer。Owner 不能导入另一个 owner。
    • Editor:可使用该 namespace 创建和管理 AI 资源。
    • Viewer:可查看该 namespace 中的资源。

步骤 3:上传模型

注意:如果您已经上传了模型,或正在使用平台共享模型,可跳过此步骤

将文本分类模型上传到模型仓库:

  1. 进入 Alauda AI,在顶部导航中选择 User View,并选择上一步中已管理的 namespace。
  2. 点击左侧导航栏中的 Model Repository,点击 Create Model Repository,并输入准备好的模型名称,例如 “Meta-Llama-3-8B-Instruct”。
  3. 有关完成模型上传的操作,请参考 Create Model Repository。
  4. 在 File Management 选项卡中,点击 Update metadata,并根据大模型的属性选择正确的 “Task Type” 和 “Framework”。
    • Task Type:这是模型本身的属性,可通过查看模型下载详情页上的标签获取。它分为 “Text Generation”、“Image Generation” 等。
    • Framework:这也是模型本身的属性,可通过查看模型下载详情页上的标签获取。它分为 “Transformers”、“MLflow” 等。大多数流行的开源 Large Language Models 都属于 “Transformers” 类型。

步骤 4:发布推理服务

将模型发布为在线推理服务:

  1. 在模型详情页中,点击 Publish inference API > Custom publishing。
  2. 配置服务参数:
    • Name: meta-llama-3-8b-service
    • Model: Meta-Llama-3-8B-Instruct
    • Version: Branch-main
    • Inference Runtimes: 需要根据 GPU 节点中安装的 cuda 版本进行选择。例如,如果安装的是 cuda12.6 或更高版本,请选择 “vllm-cuda12.6-x86”。
    • Resource Requests: 2CPU/20Gi Memory
    • Resource Limits: 2CPU/20Gi Memory
    • GPU Acceleration: HAMi NVIDIA
      • gpu number: 1
      • vgpu cores: 50
      • GPU vmemory: 23552
    • Storage: Mount existing PVC/Capacity 10Gi
    • Auto Scaling: Off
    • Number of instances: 1
  3. 点击 Publish,等待服务启动。
  4. 在 Inference Services 页面查看服务状态。

步骤 5:调用推理服务

测试已发布的推理服务:

  1. 点击左侧导航栏中的 Inference Services,点击 “Published Inference Service” 的名称,然后在推理服务详情页点击 Experience。
  2. 输入测试文本,例如 “Recommend a few good books”。
  3. 查看模型返回的生成文本和生成参数。