从 Kubeflow 监控面板部署推理服务
简介
Kubeflow 中央监控面板中的 KServe Endpoints 页面可让你无需离开 Kubeflow,即可部署、管理和监控推理服务。它会创建与 使用 CLI 创建推理服务 以及 Alauda AI Platform 控制台相同的 serving.kserve.io/v1beta1 InferenceService 对象,因此在此处创建的服务可在这三处查看。
如果你的团队已在使用 Kubeflow 监控面板,请使用此页面。有关平台自身的部署体验(包括 Model Catalog 和 Model Registry 集成、推理服务模板及批量操作),请参阅管理推理服务。
先决条件
- 已安装 Kubeflow operators,并且你可以访问 Kubeflow 中央监控面板。
- 已安装 Alauda AI Platform Inference Management。它由 Alauda AI Platform 通过
kservedefault中的AmlCluster组件进行管理;请参阅安装 Alauda AI Platform。 - 模型可通过集群能够读取的
storageUri访问。有关支持的存储类型,请参阅模型存储。
访问 Endpoints UI
- 点击中央监控面板侧边栏中的 KServe Endpoints。
- 在页面顶部选择你的命名空间。
- 你将看到已部署 InferenceService 的列表,以及它们的状态和 URL。
部署新模型
-
新建 Endpoint: 点击 New Endpoint。
-
InferenceService YAML:
- 提供 InferenceService 的 YAML 定义。你可以使用下面的示例 YAML 作为模板。
-
部署: 点击 Create。
验证
部署后,等待状态变为 Ready。
- 检查:点击模型名称,查看 YAML 详情和日志。
- 获取 URL:复制提供的端点 URL(例如
http://model-name.namespace.svc.cluster.local/v1/models/model-name:predict或外部 URL)。 - 测试:使用
curl或 Python 客户端发送预测请求。