模型共享

简介

虽然 AI platform 目前还没有用于共享模型的 UI,但你仍然可以手动完成。在介绍具体步骤之前,先了解一些必要知识。

要将大语言模型(LLM)发布为推理服务,你需要添加必要的 model card 元数据,例如 pipeline_tag(在平台上称为 Task Type)和 library_name。这些信息通常作为元数据存储在模型根目录下的 README.md 文件中。

或者,你也可以在将模型上传到 AI platform 的模型仓库后再添加这些元数据。在 File Management 界面中,点击 "Edit Metadata" 按钮,在弹出窗口中选择相应参数并保存。

一旦模型具备这些必要的元数据,就可以进行发布了。需要记住的一点是,你无法编辑已经共享的模型的元数据。这是平台有意设置的限制。

另外,如果你不是通过 UI 来添加元数据(例如,你是手动创建的 README.md 文件),还需要向模型的 GitLab 仓库添加几个 topic。这样平台才能正确识别该模型已准备好用于推理。

WARNING

需要 GitLab Admin 权限才能继续。请联系你的管理员。

步骤

添加 Model Card 元数据:两种方式

你有两种不同的方法来添加 model card 元数据。你只需要使用其中一种,不需要两种都做。

选项 1:使用 UI

这是最直接的方法。将模型上传到 AI platform 的仓库后,按照以下步骤操作:

  1. 进入 File Management 界面。

  2. 点击 "Edit Metadata" 按钮。

  3. 在弹出窗口中,根据你的模型和目标服务设置 Task Type。对于 Framework,如果没有特殊要求,请选择 transformers。

  4. 保存更改。

选项 2:直接编辑 README.md 文件

如果你希望直接在模型文件中管理元数据,可以在 README.md 文件的最顶部添加一个元数据块。

添加以下元数据块,并根据你的模型设置 pipeline_tag;除非另有说明,否则将 library_name 设置为 transformers。

---
pipeline_tag: text-classification
library_name: transformers
language: []
datasets: []
metrics: []
---
INFO

注意:如果你使用此方法,还必须向模型的 GitLab 仓库添加特定的 topics,平台才能识别这些元数据。

  1. 首先,前往 GitLab 中 <your model> 的项目。在左侧导航栏中,点击 Settings,然后选择 General

  2. 在 "Project topics" 部分,添加以下参数:

    • 对于 pipeline_tag,topic 值应为 "<pipeline_tag value>"(例如,text-classification)。

    • 对于 library_name,topic 值应为 "aml_framework_<library_name value>"(例如,aml_framework_transformers)。

  3. 保存更改。请务必滚动到页面底部,并点击 "Save changes" 按钮以应用更新。

将项目可见性从 Private 更改为 Public

  1. 进入项目设置:

    打开你的 GitLab 项目。在左侧边栏中,点击 Settings,然后选择 General。这将带你进入项目的常规设置页面。

  2. 展开可见性选项:

    在此页面上,找到 "Visibility, project features, permissions" 部分,并点击箭头将其展开。

  3. 更改可见性级别:

    在展开后的选项中,你会看到一个 "Project visibility" 下拉菜单。点击它,并从列表中选择 Public。

  4. 保存更改:

    选择 Public 后,务必滚动到页面底部,并点击 "Save changes" 按钮以应用更新。

    CAUTION

    将模型仓库设为 Public 会向所有有权访问你实例的用户公开仓库中的所有文件(包括代码以及可能的模型权重)和相关的模型元数据。在更改可见性之前,请确保没有敏感数据。