Alauda AI
  • 简体中文

    • 从 Kubeflow 监控面板部署推理服务

    目录

    简介前提条件访问 Endpoints UI部署新模型验证

    简介

    Kubeflow 中央监控面板的 KServe Endpoints 页面可在不离开 Kubeflow 的情况下部署、管理和监控推理服务。它创建的 serving.kserve.io/v1beta1 InferenceService 对象与通过 使用 CLI 创建推理服务 以及 Alauda AI 控制台创建的对象相同，因此在此处创建的服务可在这三处查看。

    如果您的团队已经在使用 Kubeflow 监控面板，请使用此页面。有关平台自身的部署体验——Model Catalog 和 Model Registry 集成、推理服务模板以及批量操作——请参阅管理推理服务。

    前提条件

    • 已安装 Kubeflow operators ，并且您可以访问 Kubeflow 中央监控面板。
    • 已安装 Alauda Build of KServe。Alauda AI 通过 kserve 组件对其进行管理，该组件位于 default AmlCluster 中；请参阅安装 Alauda AI。
    • 模型可在集群能够读取的 storageUri 上访问。有关支持的存储类型，请参阅模型存储。

    访问 Endpoints UI

    1. 在中央监控面板侧边栏中点击 KServe Endpoints。
    2. 在页面顶部选择您的命名空间。
    3. 您将看到已部署 InferenceServices 的列表，以及它们的状态和 URL。

    部署新模型

    1. 新建 Endpoint： 点击 New Endpoint。

    2. InferenceService YAML：

      • 提供 InferenceService 的 YAML 定义。您可以使用下面的示例 YAML 作为模板。

    3. 部署： 点击 Create。

      apiVersion: serving.kserve.io/v1beta1
kind: InferenceService
metadata:
  name: my-model
  namespace: my-namespace
spec:
  predictor:
    model:
      modelFormat:
        name: 'transformers'
      runtime: aml-vllm-0.9.2-cuda-12.6
      storageUri: 'hf://model-repo/model-name'

    验证

    部署后，等待状态变为 Ready。

    • 检查：点击模型名称，查看 YAML 详细信息和日志。
    • 获取 URL：复制提供的端点 URL（例如 http://model-name.namespace.svc.cluster.local/v1/models/model-name:predict 或外部 URL）。
    • 测试：使用 curl 或 Python 客户端发送预测请求。