快速开始
本文旨在帮助新用户快速了解如何在 Alauda AI 中部署推理服务。通过部署一个简单的“文本生成”推理服务并进行体验,您可以快速掌握平台的主要功能和使用方法。
预计阅读时间
预计完成本文的阅读和操作大约需要 20 分钟。
注意事项
本文仅演示基本流程。有关详细的参数配置,请参考完整文档。
前提条件
- 您已经拥有平台管理员账号(用于创建和管理命名空间)。
- 您已准备好待部署的模型文件(可提前从 Hugging Face 或 ModelScope 等网站下载)。
- 如果需要使用 GPU 推理,请确保已安装 GPU 插件;如果尚未安装,请前往平台管理的插件中心安装 GPU 插件。
- 您了解 Kubernetes 和机器学习模型的基本概念。
步骤概览
操作步骤
步骤 1:创建命名空间
注意:如果您已经有命名空间,可跳过此步骤
命名空间是 Alauda AI 中多租户隔离的基础,每个项目都应使用独立的命名空间。您可以直接在 Alauda AI 中创建命名空间,也可以从容器平台导入已有命名空间。
- 进入 Alauda AI,并在顶部导航中切换到 管理员视图。
- 点击左侧导航栏中的 命名空间。
- 点击 创建命名空间,并输入名称,例如 "text-classification-demo"。
- 点击 创建,完成命名空间创建。
如果该命名空间已存在于容器平台中,请在 命名空间 页面点击 导入命名空间,选择要导入到 Alauda AI 的命名空间。
步骤 2:管理命名空间并添加用户
注意:如果命名空间已经受管理且已配置用户权限,可跳过此步骤
将已创建的命名空间纳入 Alauda AI 管理,并向命名空间中添加用户:
- 进入 Alauda AI,并在顶部导航中切换到 管理员视图。
- 点击左侧导航栏中的 命名空间。
- 如果该命名空间尚未由 Alauda AI 管理,请点击 导入命名空间,选择新创建的 "text-classification-demo" 命名空间并完成导入。
- 打开命名空间编辑页面,点击 成员管理。
- 导入需要使用该命名空间的用户,并为其分配以下角色之一:
- Owner:可管理命名空间,并将其他成员导入为编辑者或查看者。Owner 不能再导入另一位 Owner。
- Editor:可使用该命名空间创建和管理 AI 资源。
- Viewer:可查看该命名空间中的资源。
步骤 3:上传模型
注意:如果您已经上传过模型,或正在使用平台共享模型,可跳过此步骤
将文本分类模型上传到模型仓库:
- 进入 Alauda AI,在顶部导航中选择 用户视图,并选择上一步中管理好的命名空间。
- 点击左侧导航栏中的 模型仓库,点击 创建模型仓库,并输入准备好的模型名称,例如 "Meta-Llama-3-8B-Instruct"。
- 有关完成模型上传的详细步骤,请参考 创建模型仓库。
- 在 文件管理 选项卡中,点击 更新元数据,并根据大模型的属性选择正确的“任务类型”和“框架”。
- 任务类型:模型本身的属性,可通过查看模型下载详情页上的标签获取。分为“文本生成”、“图像生成”等。
- 框架:同样是模型本身的属性,可通过查看模型下载详情页上的标签获取。分为“Transformers”、“MLflow”等。大多数流行的开源大语言模型都属于 “Transformers” 类型。
步骤 4:发布推理服务
将模型发布为在线推理服务:
- 在模型详情页中,点击 发布推理 API > 自定义发布。
- 配置服务参数:
- 名称:meta-llama-3-8b-service
- 模型:Meta-Llama-3-8B-Instruct
- 版本:Branch-main
- 推理运行时:需要根据 GPU 节点中安装的 cuda 版本进行选择。例如,如果安装的是 cuda12.6 或更高版本,则选择 "vllm-cuda12.6-x86"。
- 资源请求:2CPU/20Gi Memory
- 资源限制:2CPU/20Gi Memory
- GPU 加速:HAMi NVIDIA
- gpu number: 1
- vgpu cores: 50
- GPU vmemory: 23552
- 存储:挂载现有 PVC/容量 10Gi
- 自动扩缩:关闭
- 实例数量:1
- 点击 发布,并等待服务启动。
- 在 推理服务 页面查看服务状态。
步骤 5:调用推理服务
测试已发布的推理服务:
- 点击左侧导航栏中的 推理服务,点击“已发布推理服务”的名称,并在推理服务详情页中点击 体验。
- 输入测试文本,例如 "Recommend a few good books"。
- 查看模型返回的生成文本和生成参数。