发版日志
目录
AI 2.4.0新增和优化功能基于镜像的 Model CatalogKubeflow 1.11 升级使用 Elyra 的 Workbench Pipeline 编排Llama Stack PGVector 集成使用 Kubeflow Trainer v2 在 Ascend NPU 上进行微调面向 Ascend NPU 模型压缩的 ModelSlim 集成vLLM-ascend 自定义运行时Image Based Model Catalog StorageClass 配置已弃用功能已修复问题已知问题AI 2.4.0
新增和优化功能
基于镜像的 Model Catalog
基于镜像的 Model Catalog 提供了一个集中式目录,用于发现和部署可立即使用的模型。用户无需手动准备模型仓库,即可将内置模型部署为推理服务。管理员在用户部署之前配置该目录使用的 OCI registry,并导入内置模型镜像。
Kubeflow 1.11 升级
Kubeflow Base、Kubeflow Pipelines 和 Kubeflow Trainer v2 已升级到 1.11 发布线。这使平台与上游 Kubeflow 社区保持一致,并包含社区版本中已经提供的修复。
使用 Elyra 的 Workbench Pipeline 编排
Elyra Pipeline Editor 在 JupyterLab 中提供可视化编辑器,可用于从 notebook 和脚本创建 pipeline 工作流。用户可以在 Workbench 中定义 pipeline 步骤,并将工作流提交到 Kubeflow Pipelines,而无需手动编写完整的 pipeline 规范。
Llama Stack PGVector 集成
Llama Stack 现在支持由 PGVector 支持的向量存储,用于智能体和检索工作流。在构建会上传文件并执行向量搜索的 Llama Stack 应用时,用户可以使用带有 pgvector 扩展的 PostgreSQL 作为向量数据库后端。
使用 Kubeflow Trainer v2 在 Ascend NPU 上进行微调
Kubeflow Trainer v2 支持在 Huawei Ascend NPU 上运行模型微调任务。用户可以为 MindSpeed-LLM 工作流提交 Trainer v2 任务,包括 checkpoint 转换、数据集预处理和有监督微调,并在配置了集群配额时使用 Kueue 调度。
面向 Ascend NPU 模型压缩的 ModelSlim 集成
ModelSlim 集成提供了面向 Huawei Ascend NPU 环境的模型压缩和量化工作流。用户可以从预装 CANN 和 PyTorch 的 Workbench 镜像中运行基于 ModelSlim 的工作流,遵循产品文档中描述的 Ascend 原生压缩路径。
vLLM-ascend 自定义运行时
vLLM-ascend 通过自定义推理运行时,支持在 Huawei Ascend NPU 上进行模型服务。管理员可以为基于 Ascend 的推理注册 vLLM-ascend 运行时,用户在将兼容的大语言模型部署为推理服务时可以选择该运行时。
Image Based Model Catalog StorageClass 配置
Image Based Model Catalog 安装支持为 catalog 服务配置持久存储。管理员可以复用现有 PVC 或创建新的 PVC,并指定在新建存储时使用的 StorageClass。
已弃用功能
基于 GitLab 的 Model Catalog 已弃用。对于内置模型和新的模型交付工作流,请改用使用 OCI 模型制品的 Image Based Model Catalog。
已修复问题
- 在推理服务创建时,如果用户在 YAML 中额外配置了 securityContext,进入推理服务更新页面并切换到 YAML 视图后,该配置可能会丢失。用户后续更新服务时可能提交缺失 securityContext 的配置,导致依赖该安全上下文的推理服务无法正常启动或运行异常。临时可通过资源管理或 kubectl 更新相关资源。
已知问题
- 在 Ascend NPU 环境中使用多卡部署推理服务时,服务无法 Ready,启动过程中出现 HCCL 初始化失败的问题。该问题由 vLLM Ascend 多卡场景未同时适配 root 与 non-root 运行模式引起,导致 NPU 多卡通信初始化异常。
- 未安装 Workbench 组件时,进入 Cluster Storage 页面会出现 404 报错,PVC 列表加载失败,创建、编辑等入口在页面体验上被阻断。临时解决方案是先安装 Workbench 组件;如暂不使用 Cluster Storage 页面能力,可通过后端或 Kubernetes 命令行管理 PVC。
- 在使用 VictoriaMetrics 对 Serverless 模式的推理服务进行监控数据采集时,存在推理服务无法缩容到0的已知问题。