使用 KServe Modelcar 存储模型
目录
概述使用 OCI 容器存储模型的优势前提条件将模型打包为 OCI 映像选项 1:使用 Busybox 基础映像(Alauda AI Platform 推荐)选项 2:使用 UBI Micro 基础映像(Red Hat 推荐)构建并推送模型映像从 OCI 映像部署模型部署前提条件创建 InferenceService应用 InferenceService验证部署最佳实践故障排除常见问题结论概述
KServe Modelcar,也称为基于 OCI 容器的模型存储,是一种在云原生环境中部署模型的强大方式。将模型打包为 OCI 容器映像后,您可以利用容器运行时的功能,实现更快的启动速度和更高效的资源利用。
使用 OCI 容器存储模型的优势
- 缩短启动时间:避免多次下载相同的模型
- 降低磁盘空间占用:减少本地下载的模型数量
- 提升模型性能:允许预先获取映像,从而加快加载速度
- 支持离线环境:非常适合互联网访问受限的环境
- 简化模型分发:使用 Quay 或 Harbor 等企业内部镜像仓库
前提条件
- 已安装并运行 Alauda AI Platform
- 已准备好要打包的模型文件
- 具有容器镜像仓库(例如 Harbor、Quay)的写入/推送权限
- 本地计算机已安装 Podman 或 nerdctl
将模型打包为 OCI 映像
选项 1:使用 Busybox 基础映像(Alauda AI Platform 推荐)
创建一个包含以下内容的 Containerfile:
选项 2:使用 UBI Micro 基础映像(Red Hat 推荐)
创建一个包含以下内容的 Containerfile:
构建并推送模型映像
-
创建一个临时目录,用于存储模型和支持文件:
-
创建一个 models 文件夹(也可以选择为 OpenVINO 等框架创建版本子目录):
-
将模型文件复制到相应目录:
- 对于大多数框架:
cp -r your-model-folder/* models/ - 对于 OpenVINO:
cp -r your-model-folder/* models/1/
- 对于大多数框架:
-
构建 OCI 容器映像:
-
将映像推送到容器镜像仓库:
注意 如果您的仓库是私有的,请确保在上传容器映像之前已通过身份验证并登录镜像仓库。
从 OCI 映像部署模型
部署前提条件
除上述常规前提条件外,无需其他前提条件。
创建 InferenceService
创建一个包含以下内容的 InferenceService YAML 文件:
- 将
Qwen2.5-0.5B-Instruct替换为实际的模型名称。 aml.cpaas.io/runtime-type: vllm指定代码运行时类型。有关自定义推理运行时的更多信息,请参阅扩展推理运行时。- 将
demo-space替换为现有命名空间,或先使用kubectl create namespace demo-space创建命名空间。 - 将
aml-vllm-0.11.2-cpu替换为平台中已安装的运行时名称(对应于 ClusterServingRuntime CRD 实例)。 storageUri指定存储模型的 OCI 映像 URI 及标签。请使用完全限定的镜像仓库 URL。例如:storageUri: oci://docker.io/alaudapublic/models-qwen2.5:v1
应用 InferenceService
使用 kubectl 应用 InferenceService 配置:
验证部署
检查 InferenceService 的状态:
部署成功后,您应看到服务处于 Ready 状态。
如果服务启动失败或一直处于未就绪状态,可以通过以下方式进行故障排除:
- 检查 InferenceService 事件以获取详细错误信息:
- 检查 predictor pod 日志:
- 验证集群是否可以在本地成功拉取模型映像:
最佳实践
- 模型版本管理:使用容器映像中的标签为模型进行版本管理
- 映像大小优化:使用轻量级基础映像,并仅包含必要的模型文件
- 镜像仓库管理:使用具有适当访问控制的私有镜像仓库
- 安全性:遵循容器安全最佳实践,包括定期进行漏洞扫描
- 缓存:利用容器镜像仓库缓存来缩短拉取时间
故障排除
常见问题
- 权限错误:确保映像中的模型文件具有适当的权限
- Ascend 910 vLLM-ascend 权限模式:对于 Huawei Ascend 910
vLLM-ascend部署,尤其是单节点多卡服务,请参阅 Ascend 910 的 Modelcar 权限模式。 - 镜像仓库身份验证:验证集群是否可以访问容器镜像仓库
结论
使用 KServe Modelcar(基于 OCI 容器的模型存储)可以在 Alauda AI Platform 中高效地部署模型。按照本指南中介绍的步骤操作,您可以将模型打包为 OCI 映像,并以更快的启动时间和更高的资源利用率进行部署。