快速开始
本文旨在帮助新用户快速了解如何在 Alauda AI Platform 中部署推理服务。通过部署并体验一个简单的“文本生成”推理服务,您可以快速掌握平台的主要功能和使用方法。
预计阅读时间
预计阅读并完成本文中的操作需要约 20 分钟。
注意事项
本文仅演示基本流程。有关详细的参数配置,请参阅完整文档。
前提条件
- 您已有平台管理员账号(用于创建和管理命名空间)。
- 您已准备好要部署的模型文件(可提前从 Hugging Face 或 ModelScope 等网站下载)。
- 如果需要使用 GPU 推理,请确保已安装 GPU 插件。如果尚未安装,请在平台管理插件中心安装 GPU 插件。
- 您了解 Kubernetes 和机器学习模型的基本概念。
步骤概览
操作步骤
步骤 1:创建命名空间
注意:如果您已有命名空间,可跳过此步骤。
命名空间是 Alauda AI Platform 实现多租户隔离的基础,每个项目都应使用独立的命名空间。您可以直接在 Alauda AI Platform 中创建命名空间,也可以从容器平台导入现有命名空间。
- 进入 Alauda AI Platform,并在顶部导航栏中切换到 Admin View。
- 点击左侧导航栏中的 Namespaces。
- 点击 Create Namespace 并输入名称,例如“text-classification-demo”。
- 点击 Create,完成命名空间创建。
如果命名空间已存在于容器平台中,请在 Namespaces 页面点击 Import Namespace,然后选择要导入到 Alauda AI Platform 的命名空间。
步骤 2:管理命名空间并添加用户
注意:如果命名空间已受管理且已配置用户权限,可跳过此步骤。
将创建的命名空间纳入 Alauda AI Platform 管理,并向命名空间添加用户:
- 进入 Alauda AI Platform,并在顶部导航栏中切换到 Admin View。
- 点击左侧导航栏中的 Namespaces。
- 如果命名空间尚未由 Alauda AI Platform 管理,请点击 Import Namespace,选择新创建的“text-classification-demo”命名空间,然后完成导入。
- 打开命名空间编辑页面并点击 Member Management。
- 导入需要使用此命名空间的用户,并为其分配以下角色之一:
- Owner:可以管理命名空间,并将其他成员导入为 Editor 或 Viewer。Owner 不能导入其他 Owner。
- Editor:可以使用命名空间创建和管理 AI 资源。
- Viewer:可以查看命名空间中的资源。
步骤 3:准备并注册模型
注意:如果您已有已注册模型或正在使用平台共享的 Model Catalog 条目,可跳过此步骤。
将文本分类模型存储在受支持的后端中并注册:
- 进入 Alauda AI Platform,在顶部导航栏中选择 User View,然后选择上一步中管理的命名空间。
- 将模型存储在 S3、已挂载的 PVC 或 OCI registry 中。记录其 Model URI,例如
s3://models/Meta-Llama-3-8B-Instruct。 - 打开 AI Hub > Model Registry,选择 Register Model,选择一个 Model Registry,输入模型名称和版本,并提供 Model URI。
- 按需在 registry 元数据中设置模型任务和框架。大多数热门开源 LLM 使用
transformers框架和text-generation任务。 - 如果模型已在 AI Hub > Model Catalog 中提供,请改为打开其目录详情,然后使用 Create Inference API 或 Register Model。
有关在 Workbench 中上传模型的说明,请参阅使用 Workbench 上传模型。有关注册说明,请参阅Model Registry。
步骤 4:发布推理服务
将模型发布为在线推理服务:
- 在模型详情页面点击 Create Inference API。对于 Model Registry 模型,请选择启用的 Version;对于目录模型,系统会自动选择目录制品。
- 配置服务参数:
- Name:meta-llama-3-8b-service
- Model Source:Model Catalog 或 Model Registry
- Model:Meta-Llama-3-8B-Instruct
- Version:Version 1(使用 Model Registry 时)
- Inference Runtimes:需要根据 GPU 节点上安装的 cuda 版本进行选择。例如,如果安装的是 cuda12.6 或更高版本,请选择“vllm-cuda12.6-x86”。
- Resource Requests:2CPU/20Gi Memory
- Resource Limits:2CPU/20Gi Memory
- GPU Acceleration:HAMi NVIDIA
- gpu number:1
- vgpu cores:50
- GPU vmemory:23552
- Storage:使用制品已配置的存储,或挂载现有 PVC
- Auto Scaling:Off
- Number of instances:1
- 点击 Publish 并等待服务启动。
- 在 Inference Services 页面查看服务状态。
步骤 5:调用推理服务
测试已发布的推理服务:
- 点击左侧导航栏中的 Inference Services,再点击“Published Inference Service”的名称,然后在推理服务详情页面点击 Experience。
- 输入测试文本,例如“推荐几本好书”。
- 查看模型返回的生成文本和生成参数。