模型存储
Model Catalog 或 Model Registry 存储模型元数据和模型制品的位置。模型文件本身保留在推理服务可以访问的存储后端中。支持的存储后端包括:
- S3 对象存储:Storage Initializer 在主容器启动前下载模型。
- Persistent Volume Claim (PVC):Storage Initializer 从挂载的持久卷中加载模型。
- OCI 容器:在 KServe 中也称为 modelcar;容器运行时使用镜像层和缓存来高效加载模型。
在注册模型版本时,将制品位置作为 Model URI 输入。有关在 UI 中管理的项目级 S3、URI 或 OCI 端点,请参阅使用 Connections。
目录
选择存储后端使用 S3 对象存储身份验证配置部署由 S3 支持的模型使用 OCI 容器存储模型使用 PVC 存储模型将模型文件上传到 PVC前提条件操作步骤部署由 PVC 支持的模型Model URI 要求选择存储后端
将模型置于存储中后,打开 AI Hub > Model Registry > Register Model 并输入 URI。然后,您可以从 Model Registry 部署当前处于活动状态的已注册版本。目录条目也可以提供制品 URI,并可直接从 AI Hub > Model Catalog 部署。
使用 S3 对象存储
S3 常用于存储模型。推理服务需要通过附加到 ServiceAccount 的 Secret,或通过在控制台中选择的 S3 Connection 获取端点和凭据。
身份验证配置
建议为每个项目创建单独的 ServiceAccount 和 Secret。以下示例展示了 KServe S3 Secret 格式:
- 将
YOUR_ACCESS_KEY和YOUR_SECRET_KEY替换为 S3 服务的凭据。 2. 将your_s3_service_ip:your_s3_port替换为 S3 端点。 3. 当端点使用 HTTPS 时,将serving.kserve.io/s3-usehttps设置为"1"。 4. 将 Secret 和 ServiceAccount 保留在推理服务运行所在的命名空间中。
部署由 S3 支持的模型
以下是直接使用 KServe 的示例。在控制台中,建议的工作流程是将 storageUri 注册为模型制品 URI,并从 Model Registry 中当前处于活动状态的版本创建服务。
将运行时替换为已安装的 ClusterServingRuntime。storageUri 必须指向 S3 存储桶中的模型目录,并且 ServiceAccount 必须能够读取 Secret。
使用 OCI 容器存储模型
您可以将模型打包为 OCI 镜像,并将其推送到 Harbor 或 Quay 等兼容 OCI 的 registry。Modelcar 存储适用于离线安装,也适用于从使用节点端镜像缓存的 registry 快速启动。
将镜像引用记录为 Model URI,例如:
推理集群必须能够拉取该镜像。如果 registry 为私有 registry,请配置 OCI Connection。有关打包和部署步骤,请参阅使用 KServe Modelcar 存储模型。
使用 PVC 存储模型
将模型文件上传到 PVC
您可以从现有 PVC 提供模型。请从已挂载该 PVC 的 Workbench 上传文件:
前提条件
- 您可以访问 Alauda AI Platform 监控面板和目标命名空间。
- 您有一个正在运行的 Workbench 和一个 PVC。
- Workbench 已挂载到该 PVC。
- 模型文件位于本地计算机或 Workbench 中。
有关创建 Workbench 和挂载 PVC 的信息,请参阅创建 Workbench。
操作步骤
- 在 Alauda AI Platform 监控面板中,选择 Workbench。
- 找到正在运行的 Workbench,然后选择 Connect。
- 打开 IDE 文件浏览器。在 JupyterLab 中,使用 Files;在 code-server 中,使用 Explorer。
- 导航到已挂载 PVC 的根目录,通常是 Workbench 主目录。在此处创建的文件会持久保存在 PVC 中。
- 创建模型目录,例如
models/Qwen2.5-0.5B-Instruct。 - 上传模型文件。在 JupyterLab 中,选择 Upload;在 code-server 中,将文件 拖入目标目录。
- 确认模型文件显示在目标目录中。
Model URI 为:
将此 URI 注册为 Model Registry 版本的制品位置。PVC 和推理服务必须位于服务可以 挂载该 claim 的命名空间中。
部署由 PVC 支持的模型
将 model-pvc 和路径替换为包含模型的 PVC 和目录。
Model URI 要求
控制台会验证 Model URI 是否包含 scheme 且 location 非空。 例如,在部署配置支持的情况下,以下形式有效:
s3://<bucket>/<path>pvc://<pvc-name>/<optional-path>oci://<registry>/<repository>:<tag>- 存储初始化器或服务运行时支持的其他已配置 URI scheme
类似 /models/qwen 的本地路径或单独的仓库名称不是完整的
Model URI。确认所选服务运行时支持该模型格式,并且运行时可以访问所引用的存储。