Alauda AI
  • 简体中文

    • 模型共享

    目录

    简介步骤

    简介

    虽然 AI 平台目前还没有用于共享模型的 UI，但你仍然可以手动完成。在介绍步骤之前，我们先了解一些必要的基础知识。

    要将大语言模型（LLM）发布为推理服务，你需要添加必要的 model card 元数据，例如 pipeline_tag（在平台上称为 Task Type）和 library_name。这些信息通常作为元数据存储在模型根目录下的 README.md 文件中。

    或者，你也可以在将模型上传到 AI 平台的模型仓库之后再添加这些元数据。在 File Management 界面中，点击 "Edit Metadata" 按钮，在弹出窗口中选择参数并保存。

    一旦模型具备这些必要的元数据，就可以进行发布了。需要特别注意的是，你无法编辑已经共享的模型的元数据。这是平台的有意限制。

    另外，如果你不是通过 UI 添加元数据（例如，你是手动创建的 README.md 文件），你还需要向模型的 GitLab 仓库添加几个 topic。这样可确保平台能够正确识别该模型已准备好用于推理。

    WARNING

    继续操作需要 GitLab Admin 权限。请联系你的管理员。

    步骤

    添加 Model Card 元数据：两种方式

    你有两种不同的方法来添加 model card 元数据。你只需要使用其中一种，不必两种都做。

    选项 1：使用 UI

    这是最直接的方法。将模型上传到 AI 平台的仓库后，请按照以下步骤操作：

    1. 进入 File Management 界面。

    2. 点击 "Edit Metadata" 按钮。

    3. 在弹出窗口中，根据你的模型和所需服务设置 Task Type。对于 Framework，如果没有特殊要求，请选择 transformers。

    4. 保存更改。

    选项 2：直接编辑 README.md 文件

    如果你希望直接在模型文件中管理元数据，可以在 README.md 文件最顶部添加一个元数据块。

    添加以下元数据块，并根据你的模型设置 pipeline_tag，library_name 默认设置为 transformers，除非另有说明。

    ---
pipeline_tag: text-classification
library_name: transformers
language: []
datasets: []
metrics: []
---
    INFO

    注意：如果你使用此方法，还必须向模型的 GitLab 仓库添加特定 topic，平台才能识别这些元数据。

    1. 首先，进入 GitLab 中 <your model> 的项目。在左侧导航栏中，点击 Settings，然后选择 General

    2. 在 "Project topics" 部分，添加以下参数：

      • 对于 pipeline_tag，topic 值应为 "<pipeline_tag value>"（例如，text-classification）。

      • 对于 library_name，topic 值应为 "aml_framework_<library_name value>"（例如，aml_framework_transformers）。

    3. 保存更改：请务必滚动到页面底部，并点击 "Save changes" 按钮以应用更新。

    将项目可见性从 Private 更改为 Public

    1. 进入项目设置：

      打开你的 GitLab 项目。在左侧边栏中，点击 Settings，然后选择 General。这将进入项目的一般设置页面。

    2. 展开可见性选项：

      在此页面中，找到 "Visibility, project features, permissions" 部分，并点击箭头将其展开。

    3. 更改可见性级别：

      在展开的选项中，你会看到一个 "Project visibility" 下拉菜单。点击它，并从列表中选择 Public。

    4. 保存更改：

      选择 Public 后，请务必滚动到页面底部，并点击 "Save changes" 按钮以应用更新。

      CAUTION

      将模型仓库设为 Public 会向所有有权访问该实例的用户公开仓库中的所有文件（包括代码以及可能的模型权重）及相关模型元数据。在更改可见性之前，请确保其中不包含敏感数据。