Model Repository

模型仓库功能的核心定义是提供一个基于 Git 的版本控制存储系统,用于机器学习模型,支持团队管理模型文件、跟踪版本,并实现跨租户协作。它利用 Git LFS 进行大文件存储,并集成 MLOps 工作流,连接模型开发与部署。

优势

Git 原生版本控制

  • 通过提交/分支/标签跟踪模型变更,确保可复现性。

高速传输

  • CLI/Notebook 上传利用内网带宽加速。

跨租户共享

  • 共享模型可跨命名空间访问(例如 public 作为模型 Marketplace)。

无缝集成

  • 可直接从仓库部署模型到推理服务。

核心功能

模型仓库创建与删除

  • 创建带有元数据(名称/描述/可见性)的空 Git 支持仓库。
  • 依赖检查后删除模型(例如确保无活跃推理服务)。

文件管理

  1. CLI/Git LFS
    • 使用 git lfs track 管理大文件(如 *.bin*.h5)。
    • 示例:
      git clone <model_repo_url>
      git lfs install
      cp ~/local_model/* . && git add . && git commit -m "v1.0" && git push

版本控制

  1. 分支管理
    • 维护并行版本(如 experimentalmain 分支)。
  2. 标签管理
    • 通过 UI/CLI 标记发布版本(如 git tag -a v2.0 -m "Stable release")。
  3. 元数据同步
    • 自动读取默认分支的 README.md 作为模型描述。

跨租户共享

  1. 共享模型
    • 创建时设置可见性为“Shared”,实现租户间访问。
  2. 公共 Marketplace
    • 使用 public 命名空间发布开源模型(如 HuggingFace 转换模型)。

与 MLOps 集成

  1. 部署准备
    • 一键从标签模型版本启动推理服务。
  2. Notebook 集成
    • 直接拉取模型到 AML Notebooks 进行测试:
      !git clone https://aml-public/resnet50.git

技术说明

  1. Git LFS 要求
    • 必须包含 .gitattributes 指定 LFS 跟踪文件(如 *.zip filter=lfs diff=lfs merge=lfs)。
  2. 默认分支规则
    • 配置错误的 README.md 元数据可能阻止推理部署。

创建模型及上传模型文件

详细上传模型文件到模型仓库的步骤,请参见 Upload Models Using Notebook