Alauda AI
  • 简体中文

    • Share Models

    目录

    介绍步骤

    介绍

    虽然 AI 平台目前还没有用于共享模型的 UI，但你仍然可以手动完成共享。在介绍具体步骤之前，先了解一些基本知识。

    要将大语言模型（LLM）发布为推理服务，你需要添加必要的模型卡元数据，比如 pipeline_tag（平台上称为任务类型）和 library_name。这些信息通常存储在模型根目录下的 README.md 文件中的元数据里。

    或者，你也可以在将模型上传到 AI 平台模型仓库后添加这些元数据。在文件管理界面，点击**“编辑元数据”**按钮，从弹窗中选择参数并保存。

    一旦模型具备了这些必要的元数据，就可以发布了。需要特别注意的是，已经共享的模型无法再编辑元数据，这是平台的刻意限制。

    另外，如果你没有使用 UI 添加元数据（例如你是手动创建的 README.md 文件），还需要在模型的 GitLab 仓库中添加一些 topics，确保平台能正确识别模型已准备好进行推理。

    WARNING

    需要 GitLab 管理员权限才能继续操作，请联系你的管理员。

    步骤

    添加模型卡元数据：两种方式

    你有两种不同的方法来添加模型卡元数据。只需选择其中一种即可，无需两种都做。

    方式一：使用 UI

    这是最简单直接的方法。模型上传到 AI 平台仓库后，按以下步骤操作：

    1. 进入文件管理界面。

    2. 点击**“编辑元数据”**按钮。

    3. 在弹窗中，根据你的模型和期望的服务设置任务类型。对于框架，如果没有特殊要求，选择 transformers。

    4. 保存更改。

    方式二：直接编辑 README.md 文件

    如果你更倾向于直接在模型文件中管理元数据，可以在 README.md 文件顶部添加元数据块。

    添加如下元数据块，pipeline_tag 根据你的模型设置，library_name 默认为 transformers，除非另有说明。

    ---
pipeline_tag: text-classification
library_name: transformers
language: []
datasets: []
metrics: []
---
    INFO

    注意：如果使用此方法，还必须在模型的 GitLab 仓库中添加特定的 topics，平台才能识别这些元数据。

    1. 首先，进入 GitLab 中<你的模型>的项目。在左侧导航栏点击Settings，然后选择General

    2. 在**“Project topics”**部分，添加以下参数：

      • 对于 pipeline_tag，topic 值应为 "<pipeline_tag 值>"（例如 text-classification）。

      • 对于 library_name，topic 值应为 "aml_framework_<library_name 值>"（例如 aml_framework_transformers）。

    3. 保存更改，确保滚动到页面底部，点击**“Save changes”**按钮以应用更新。

    将项目可见性从 Private 改为 Public

    1. 进入项目设置：

      打开你的 GitLab 项目。在左侧边栏点击 Settings，然后选择 General，进入项目的通用设置页面。

    2. 展开可见性选项：

      在该页面找到 “Visibility, project features, permissions” 部分，点击箭头展开。

    3. 更改可见性等级：

      在展开的选项中，找到 “Project visibility” 下拉菜单，点击并选择 Public。

    4. 保存更改：

      选择 Public 后，务必滚动到页面底部，点击 “Save changes” 按钮以应用更改。

      CAUTION

      将模型仓库设为 Public 会使所有仓库文件（包括代码和可能的模型权重）及相关模型元数据对所有有权限访问你实例的用户公开。在更改可见性前，请确保没有敏感数据。