Alauda AI
  • 简体中文

    • 快速开始

    本文旨在帮助新用户快速了解如何在 Alauda AI 中部署推理服务。通过部署并体验一个简单的“文本生成”推理服务，您可以快速掌握平台的主要功能和使用方法。

    目录

    预计阅读时间注意事项前提条件步骤概览操作步骤步骤 1：创建命名空间步骤 2：管理命名空间并添加用户步骤 3：准备并注册模型步骤 4：发布推理服务步骤 5：调用推理服务

    预计阅读时间

    预计完成本文的阅读和操作大约需要 20 分钟。

    注意事项

    本文仅演示基本流程。有关详细的参数配置，请参阅完整文档。

    前提条件

    • 您已拥有平台管理员帐户（用于创建和管理命名空间）。
    • 您已准备好要部署的模型文件（可以提前从 Hugging Face 或 ModelScope 等网站下载）。
    • 如果需要使用 GPU 推理，请确保已安装 GPU 插件。如果尚未安装，请在平台管理的插件中心安装 GPU 插件。
    • 您了解 Kubernetes 和机器学习模型的基本概念。

    步骤概览

    步骤操作描述注意事项
    1创建命名空间在 Alauda AI 或容器平台中创建命名空间如果已有命名空间，则跳过此步骤
    2管理命名空间并添加用户将命名空间纳入 Alauda AI 管理，并向命名空间添加用户如果命名空间已被管理且用户权限已配置，则跳过此步骤
    3准备并注册模型将模型存储在 S3、PVC 或 OCI 存储中并注册其 Model URI，或使用平台共享的 Model Catalog 条目如果已有已注册模型或使用目录模型，则跳过此步骤
    4发布推理服务将模型发布为在线推理服务
    5调用推理服务通过 API 或“体验”功能调用推理服务

    操作步骤

    步骤 1：创建命名空间

    注意：如果已有命名空间，则跳过此步骤

    命名空间是 Alauda AI 实现多租户隔离的基础，每个项目都应使用独立的命名空间。您可以直接在 Alauda AI 中创建命名空间，也可以从容器平台导入现有命名空间。

    1. 进入 Alauda AI，并从顶部导航切换到 管理员视图。
    2. 点击左侧导航栏中的 命名空间。
    3. 点击 创建命名空间 并输入名称，例如“text-classification-demo”。
    4. 点击 创建 完成命名空间创建。

    如果命名空间已存在于容器平台中，请在 命名空间 页面点击 导入命名空间，然后选择要导入 Alauda AI 的命名空间。

    步骤 2：管理命名空间并添加用户

    注意：如果命名空间已被管理且用户权限已配置，则跳过此步骤

    将创建的命名空间纳入 Alauda AI 管理，并向命名空间添加用户：

    1. 进入 Alauda AI，并从顶部导航切换到 管理员视图。
    2. 点击左侧导航栏中的 命名空间。
    3. 如果命名空间尚未由 Alauda AI 管理，请点击 导入命名空间，选择新创建的“text-classification-demo”命名空间，然后完成导入。
    4. 打开命名空间编辑页面并点击 成员管理。
    5. 导入需要使用此命名空间的用户，并为用户分配以下角色之一：
      • Owner：可以管理命名空间，并将其他成员导入为 Editor 或 Viewer。Owner 不能导入另一个 Owner。
      • Editor：可以使用命名空间创建和管理 AI 资源。
      • Viewer：可以查看命名空间中的资源。

    步骤 3：准备并注册模型

    注意：如果已有已注册模型或使用平台共享的 Model Catalog 条目，则跳过此步骤

    将文本分类模型存储在受支持的后端中并进行注册：

    1. 进入 Alauda AI，在顶部导航中选择 用户视图，然后选择上一步管理的命名空间。
    2. 将模型存储在 S3、已挂载的 PVC 或 OCI registry 中。记录其 Model URI，例如 s3://models/Meta-Llama-3-8B-Instruct。
    3. 打开 AI Hub > Model Registry，选择 Register Model，选择一个 Model Registry，输入模型名称和版本，并提供 Model URI。
    4. 根据需要在 registry 元数据中设置模型任务和框架。大多数热门开源 LLM 使用 transformers 框架和 text-generation 任务。
    5. 如果模型已在 AI Hub > Model Catalog 中提供，请改为打开其目录详情，然后使用 Create Inference API 或 Register Model。

    有关 Workbench 上传说明，请参阅使用 Workbench 上传模型。有关注册说明，请参阅Model Registry。

    步骤 4：发布推理服务

    将模型发布为在线推理服务：

    1. 在模型详情页面点击 Create Inference API。对于 Model Registry 模型，选择活动的 Version；对于目录模型，系统会自动选择目录构件。
    2. 配置服务参数：
      • Name：meta-llama-3-8b-service
      • Model Source：Model Catalog 或 Model Registry
      • Model：Meta-Llama-3-8B-Instruct
      • Version：Version 1（使用 Model Registry 时）
      • Inference Runtimes：需要根据 GPU 节点中安装的 cuda 版本进行选择。例如，如果安装的是 cuda12.6 或更高版本，请选择“vllm-cuda12.6-x86”。
      • Resource Requests：2CPU/20Gi Memory
      • Resource Limits：2CPU/20Gi Memory
      • GPU Acceleration：HAMi NVIDIA
        • gpu number：1
        • vgpu cores：50
        • GPU vmemory：23552
      • Storage：使用构件配置的存储，或挂载现有 PVC
      • Auto Scaling：关闭
      • Number of instances：1
    3. 点击 Publish 并等待服务启动。
    4. 在 Inference Services 页面查看服务状态。

    步骤 5：调用推理服务

    测试已发布的推理服务：

    1. 点击左侧导航栏中的 Inference Services，点击“Published Inference Service”的名称，然后在推理服务详情页面点击 Experience。
    2. 输入测试文本，例如“推荐几本好书”。
    3. 查看模型返回的生成文本和生成参数。