发版日志
AI 2.7.0
新功能和优化功能
Model as a Service (MaaS)
此版本新增 Model as a Service (MaaS),这是一个基于 Alauda Build of Envoy Gateway 和 Alauda Build of Envoy AI Gateway 的托管模型服务网关。MaaS 使用 Authorino 进行身份验证,并允许管理员通过订阅发布 LLMInferenceService 推理服务和外部模型服务。
管理员可以将多个模型绑定到每个订阅,为不同时间范围配置令牌限制,将订阅分配给指定用户,并查看订阅流量仪表板和使用报告。用户可以访问 我的订阅,创建、撤销和删除 API 密钥,并查看自己的使用情况。
重大变更
仅限全新安装
AI 2.7.0 不支持从 AI 2.6.x 或更早版本升级。现有环境迁移不在此 Fast 版本的范围内,需要后续带有专门升级指南的 LTS 版本支持。
已修复问题
- 当将 SecurityContext 注入到推理服务 Pod 时,KServe 会干扰 Knative Serving 注入的 sidecar 配置,导致 Pod 因配置冲突而无法运行。
- 由于 model-catalog-ui 在从令牌中提取用户名时会优先使用 "email" 作为用户名,如果用户的 email 与其用户名不一致,可能会提取出错误的用户名,从而影响相关权限检查。
已知问题
- 在使用 VictoriaMetrics 采集以 Serverless 模式运行的推理服务监控数据时,存在一个已知问题:这些推理服务无法缩容到 0。
- 由于 Workbench chart 中的 WorkspaceKind 资源名称包含 ".Release.Revision",当 chart 被多次部署时,随着 ".Release.Revision" 的递增,可能会部署同一个 WorkspaceKind 资源的多个实例。
- 由于 HAMi scheduler 组件与 kube-scheduler 使用相同的镜像,它可能会在导入的集群中错误识别 kube-scheduler 的镜像仓库,导致镜像拉取失败,从而引发启动失败。