特性
目录
模型管理
-
基于Git的模型库
一个完整的Git管理存储解决方案,支持:- 库管理:创建/删除带有元数据(名称/描述/可见性)和依赖性检查的仓库
- 文件操作:小文件的Web UI上传 + 大文件的CLI/Git LFS支持(例如,
*.h5,*.bin) - 版本控制:完整的Git功能,包括:
- 分支(例如,
main/experimental) - 标签(例如,
v1.0) - 从
README.md自动同步元数据
- 分支(例如,
-
MLOps集成
无缝工作流连接:- 一键部署到推理服务
推理服务
-
直接模型部署到推理服务
- 允许用户直接从库中选择特定模型版本并指定推理运行时映像,以快速在线服务部署。系统会自动下载、缓存和加载模型,然后启动推理服务。这简化了部署流程,减少了操作复杂性。
-
自定义映像部署到推理服务
- 支持用户编写Dockerfile将模型及其依赖项打包到自定义映像中,然后通过标准Kubernetes部署推理服务。此方法提供更大的灵活性,使用户可以根据需求自定义推理环境。
-
推理服务体验
- 支持对多个推理服务进行批量操作,如批量启动、停止、更新和删除。
- 能够支持批量推理任务的创建、监控和结果导出。
- 提供批量资源管理,可以批量分配和调整推理服务的资源。