Alauda AI
  • 简体中文

    • 功能介绍

    模型仓库功能的核心定义是提供一个基于 Git 的版本控制存储系统，用于机器学习模型，支持团队管理模型文件、跟踪版本，并实现跨租户协作。它利用 Git LFS 进行大文件存储，并集成 MLOps 工作流，打通模型开发与部署的桥梁。

    目录

    优势

    1. Git 原生版本控制
      • 通过提交/分支/标签跟踪模型变更，确保可复现性。
    2. 高速传输
      • CLI/Notebook 上传利用内网带宽（例如 AML Notebooks 同机房加速）。
    3. 跨租户共享
      • 共享模型可跨命名空间访问（例如 public 作为模型 Marketplace）。
    4. 无缝集成
      • 可直接从仓库部署模型到推理服务。

    适用场景

    • 团队协作
      • 多位数据科学家可在同一仓库中并行更新和版本管理模型。
    • 模型审计
      • 通过 Git 提交/标签追溯历史版本，满足合规需求。
    • 资产集中管理
      • 在统一中心管理私有/共享模型及其元数据（如标签/描述）。

    带来的价值

    • 可复现性
      • 通过标签固定模型版本（如 production/v1.2），避免训练与推理不一致。
    • 效率提升
      • CLI 上传绕过浏览器限制，支持大文件（>10GB）。
    • 安全性
      • 通过 GitLab 凭证实现租户隔离，防止未授权访问。
    • 成本降低
      • 复用共享模型（如公共 BERT 权重），避免重复存储。

    主要功能

    模型仓库创建与删除

    • 创建带元数据（名称/描述/可见性）的空 Git 仓库。
    • 删除模型前进行依赖检查（如确保无活跃推理服务依赖）。

    文件管理

    • Web UI 上传
      • 支持拖拽文件/文件夹（适合小/中等大小文件）。
    • CLI/Git LFS
      • 使用 git lfs track 管理大文件（如 *.bin、*.h5）。
      • 示例： 
        git clone <model_repo_url>
git lfs install
cp ~/local_model/* . && git add . && git commit -m "v1.0" && git push

    版本控制

    • 分支管理
      • 支持并行版本维护（如 experimental 与 main 分支）。
    • 标签管理
      • 通过 UI/CLI 标记发布版本（如 git tag -a v2.0 -m "Stable release"）。
    • 元数据同步
      • 自动读取默认分支的 README.md 作为模型描述。

    跨租户共享

    • 共享模型
      • 创建时设置可见性为“共享”，支持跨租户访问。
    • 公共 Marketplace
      • 使用 public 命名空间发布开源模型（如 HuggingFace 转换模型）。

    与 MLOps 集成

    • 部署就绪
      • 一键从标签模型版本启动推理服务。
    • Notebook 集成
      • 直接拉取模型到 AML Notebooks 进行测试： 
        !git clone https://aml-public/resnet50.git

    技术说明

    • Git LFS 要求
      • 必须包含 .gitattributes 指定 LFS 跟踪文件（如 *.zip filter=lfs diff=lfs merge=lfs）。
    • 默认分支规则
      • README.md 元数据配置错误可能阻止推理部署。

    创建模型仓库

    第 1 步

    参数说明
    Name必填，模型仓库名称。
    Labels自定义标签用于分类和搜索。（例如 "CV"、"NLP"、"production"）
    Description仓库用途、模型类型或使用指南的详细说明。

    第 2 步

    创建 空仓库。

    第 3 步

    上传模型文件

    你可以通过以下任一方式上传模型文件：

    方案一：Web UI 上传

    • 使用文件管理界面上传文件
    • 拖拽文件/文件夹到指定区域
    • 支持格式：所有模型文件类型（.h5、.bin、.pt 等）
    • 支持实时上传进度跟踪

    方案二：Git 命令行上传

    1. 获取仓库地址：
    • 进入详情信息 → 基本信息
    • 复制 Git 仓库 URL（例如 https://<your-domain>/<namespace>/<repo-name>.git）

    1. 通过 Git 上传：

      
# 克隆仓库
git clone <repository-url>

# 进入仓库目录
cd <repo-name>

# 初始化 Git LFS（如未设置）
git lfs install

# 添加模型文件（替换为你的实际文件）
cp -r /path/to/your/model/files/* .

# 配置 LFS 跟踪（针对大文件）
git lfs track "*.h5" "*.bin" "*.pt"

# 提交并推送
git add .
git commit -m "Add model files v1.0"
git push origin main