使用 Kubeflow 卷

Kubeflow 中的卷作为 Kubernetes Persistent Volume Claims (PVCs) 管理。它们为您的数据、工作区和模型提供持久存储,与 Notebook 服务器或其他工作负载的生命周期无关。

创建卷

  1. 访问监控面板: 点击 Kubeflow 中央监控面板侧边栏的 Volumes
  2. 新建卷: 点击 New Volume
  3. 配置
    • 名称:输入卷的唯一名称。
    • 存储类:如果有多个存储类可选,选择存储类(例如 topolvm、nfs)。
    • 大小:以 Gi 为单位指定卷的大小(例如 10)。
    • 访问模式
      • ReadWriteOnce (RWO):由单个节点挂载(常用于块存储)。
      • ReadWriteMany (RWX):由多个节点挂载(常用于 NFS/文件存储)。
  4. 创建: 点击 Create。卷状态在配置完成后将变为 Bound

管理卷

  • 打开 PVC 查看器:点击卷旁的“文件夹”图标,创建一个临时 Pod 挂载该卷并打开文件浏览器。您可以直接查看/上传/下载卷中的文件。完成后点击“关闭”删除临时 Pod。
  • 删除:点击卷旁的删除图标(垃圾桶)以移除卷。注意:此操作会永久删除数据。
  • 筛选:使用搜索栏按名称、状态或存储类筛选卷。

在 Notebook 中使用卷

在 Notebook 服务器中使用卷:

  1. 创建 新 Notebook 时,创建一个标准的 Workspace Volume(挂载路径为 /home/jovyan),或者...
  2. 滚动到 Data Volumes 部分以附加其他已有卷。
  3. 点击 Attach Existing Volume 并选择您的卷。
  4. 指定 挂载路径(例如 /home/jovyan/data)。

使用 Kubeflow KServe Endpoints

KServe Endpoints UI 允许您直接从 Kubeflow 监控面板部署、管理和监控机器学习模型的推理服务。

访问 Endpoints UI

  1. 点击中央监控面板侧边栏的 KServe Endpoints
  2. 在页面顶部选择您的命名空间。
  3. 您将看到已部署的 InferenceServices 列表及其状态和 URL。

部署新模型

  1. 新建 Endpoint: 点击 New Endpoint

  2. InferenceService YAML

    • 提供您的 InferenceService 的 YAML 定义。您可以使用下面的示例 YAML 作为模板。
  3. 部署: 点击 Create

    apiVersion: serving.kserve.io/v1beta1
    kind: InferenceService
    metadata:
      name: my-model
      namespace: my-namespace
    spec:
      predictor:
        model:
          modelFormat:
            name: "transformers"
          runtime: aml-vllm-0.9.2-cuda-12.6
          storageUri: "hf://model-repo/model-name"

监控与测试

部署完成后,等待状态变为 Ready

  • 查看:点击模型名称查看 YAML 详情和日志。
  • 获取 URL:复制提供的 Endpoint URL(例如 http://model-name.namespace.svc.cluster.local/v1/models/model-name:predict 或外部 URL)。
  • 测试:使用 curl 或 Python 客户端发送预测请求。