发版日志

目录

AI 1.4.0

新功能与优化

推理服务现支持“标准”与“高级”模式

创建推理服务时,用户现在可以选择“标准模式”或“高级模式”,默认选项为“标准模式”。

  • 标准模式:开箱即用。Alauda AI 部署成功后,用户即可直接创建“标准模式”的推理服务。
  • 高级模式:需手动部署“Alauda AI Model Serving”插件。支持无服务器模式,能够创建可缩容至零的推理服务。该模式依赖 Istio,并为推理服务提供额外的监控指标,如“流量”、“QPS”和“响应时间”。

可定制的监控面板

新增“监控面板”功能,允许用户根据需求自定义并添加面板图表。例如,使用非 NVIDIA 厂商 GPU 的项目可以添加厂商提供的定制面板。

工作台插件

新增“Alauda AI Workbench”插件,提供 Jupyter Notebook 和 VS Code 等 IDE 环境。 该插件替代了上一版本的“高级”能力,精简了 Kubeflow 中原有的一些不必要组件和功能。

Kubeflow 方案

推出原生 Kubeflow 方案,满足习惯使用 Kubeflow Community 原生能力的项目客户需求。

多节点多 GPU 方案

推出多节点多 GPU 方案,满足用户对大参数量模型部署的需求。

基于 Notebook 的预训练与微调方案

推出基于 Notebook 的模型预训练和微调方案,支持用户优化模型。

推理服务认证方案

引入基于 Enovy AI Gateway 的推理服务认证方案,支持为推理服务创建 API Key,增强权限控制能力。

推理服务日志功能增强

增强推理服务的日志功能,包括自动更新日志、暂停更新和容器切换等,保持与 Alauda Container Platform 能力一致。

废弃功能

mlserver 推理运行时降级为方案

由于使用场景有限且影响大模型推理服务的用户体验,mlserver 推理运行时已降级为方案。默认不再包含于产品中,但提供方案支持特定场景,如小型语言模型推理。

停止支持 Apps 功能

Apps 功能和 Dify 均定位为 AI Agent 开发能力,Dify 通过低代码能力提供更简便的开发方式,而 Apps 功能的纯定制和从零开发方式不够便捷。因此,Apps 功能已停止支持。需要纯定制开发 AI Agent 的项目可通过其他方案实现。

停止支持模型上传 UI 功能

模型上传有两种方式:通过 git push 命令行或通过 UI。命令行上传性能更优且速度更快。虽然 UI 上传操作友好,但处理数百 GB 大型模型文件时容易卡顿。因此,模型上传 UI 功能已停止支持。为方便用户,原功能位置新增文档链接,便于用户快速跳转至操作命令的用户手册。

修复问题

此次发版无相关问题。

已知问题

  • 在 Gitlab 中通过直接编辑 readme 文件,来修改 library_name,在页面中无法同步显示出其模型类型变化。
    临时方案:使用 UI 操作修改,避免直接操作 Gitlab 修改。