使用 Connections

Connections 允许您在项目级别存储可重用的外部模型源和数据服务访问设置。

有关从 S3、PVC 或 OCI 源部署模型的直接 YAML 示例,请参见 Model Storage。

注意: 对于基于 OCI 的模型部署,模型部署表单中仅提供其 ACCESS_TYPE 包含 Pull 的 connections。

前提条件

  • 您已拥有目标项目命名空间的访问权限。
  • 已存在合适的 connection 类型。
  • 您拥有要使用的外部存储或 registry 的凭据和 endpoint 信息。

创建 Connection

  1. 在 User View 中,打开目标项目。
  2. 单击 Connections。
  3. 单击 Create connection。
  4. 选择一个 connection 类型。
  5. 输入该 connection 的 Kubernetes 资源名称。
  6. 可选:输入显示名称。
  7. 完成所选 connection 类型定义的字段。
  8. 单击 Create。

内置字段集

  • URI:在 URI 字段中提供完整 URI。
  • OCI-compliant registry:提供 ACCESS_TYPE,上传或粘贴 .dockerconfigjson,并输入 OCI_HOST。
  • S3-compatible object storage:提供 AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEY、AWS_S3_ENDPOINT,并可选提供 AWS_DEFAULT_REGION 和 AWS_S3_BUCKET。

验证

  • 新项目会显示在 Connections 页面上。
  • 表格会显示 connection 名称、connection 类型、兼容性标签和创建者。

注意: connection 资源名称和所选 connection 类型在创建后无法更改。

更新 Connection

  1. 在 Connections 页面上,打开目标 connection 的操作菜单。
  2. 单击 Edit。
  3. 更新显示名称或 connection 字段。
  4. 单击 Save。

更新凭据或 endpoint 后,请重新部署或重启相关工作负载,以便其获取最新值。

删除 Connection

  1. 在 Connections 页面上,打开目标 connection 的操作菜单。
  2. 单击 Delete。
  3. 确认操作。

删除 connection 只会移除项目 secret。任何仍依赖该 secret 的工作负载都必须单独更新。

管理 Connection 类型

Connection 类型在集群范围内管理,并存储在 kube-public 命名空间中。

Connection 类型包含的内容

  • 基本元数据:名称、显示名称、类别和启用状态
  • 按顺序排列的节标题和字段
  • 可选的默认值和只读设置
  • 用于 URI、OCI 或 S3 模型服务的兼容性标记

内置模板

Connection 类型编辑器可以为以下内容追加预定义字段集:

  • URI
  • OCI compliant registry
  • S3 compatible object storage

支持的字段类型

字段类型用途
Section仅用于视觉分组
Text - Short / Text - Long普通文本输入
Text - Hidden密码或 secret key 等敏感值
URIURI 输入
Boolean开关输入
Numeric数值输入,可选最小值、最大值和单位
Dropdown单选或多选选项
File上传或粘贴文件内容,例如 .dockerconfigjson

注意: 当前 UI 中的文件类型字段接受粘贴内容或上传大小不超过 1 MiB 的文件。

创建 Connection 类型

  1. 打开目标集群,进入 Settings > Connection types。
  2. 单击 Create connection type。
  3. 输入 connection 类型名称。平台会使用 ct- 前缀进行存储。
  4. 可选:输入显示名称。
  5. 选择一个或多个类别。
  6. 按需设置 Enabled。
  7. 添加节标题和字段,或应用内置的模型服务兼容模板。
  8. 单击 Create。

复制、编辑、启用和删除

  • 当您希望基于现有类型创建新的 connection 类型时,请使用 Duplicate。
  • 自定义 connection 类型可以编辑或删除。
  • 预装 connection 类型可以复制,但当前 UI 不允许直接编辑或删除它们。
  • 列表页提供 Enabled 开关,用于将 connection 类型标记为启用或停用。

注意: 编辑 connection 类型不会重写之前创建的现有 connection secret。

在模型部署中使用 Connections

当您创建或更新推理服务时,可以将 Model location 设置为 Connection。

  1. 打开推理服务创建或更新表单。
  2. 将 Model location 设置为 Connection。
  3. 选择该 connection。
  4. 根据 connection 类型完成模型路径字段:
    • URI:不需要额外路径;平台会从 connection 中读取完整 URI。
    • OCI:输入 oci://<OCI_HOST>/ 下的相对路径,例如 my-model:latest。
    • S3:输入 s3://<AWS_S3_BUCKET>/ 下的对象路径,例如 llm/qwen2.5。

运行时行为

  • 对于 OCI connections,connection secret 会作为 imagePullSecret 附加到工作负载。
  • 对于 S3 connections,平台会创建一个专用的 ServiceAccount,并引用该 connection secret。
  • 推理服务元数据会在 aml-model-source-connection 注解中存储所选 connection 名称。

资源模型

当前实现对 connections 使用项目 secret,对 connection 类型使用集群级 ConfigMaps。

Connection Secret 示例

apiVersion: v1
kind: Secret
metadata:
  name: minio-models
  namespace: demo-project
  labels:
    cpaas.io/dashboard: "true"
  annotations:
    cpaas.io/display-name: MinIO models
    cpaas.io/connection-type-ref: ct-s3-storage
    cpaas.io/connection-type-protocol: s3
    serving.kserve.io/s3-endpoint: minio.minio.svc:9000
    serving.kserve.io/s3-region: us-east-1
type: Opaque
stringData:
  AWS_ACCESS_KEY_ID: <access-key>
  AWS_SECRET_ACCESS_KEY: <secret-key>
  AWS_S3_ENDPOINT: http://minio.minio.svc:9000
  AWS_DEFAULT_REGION: us-east-1
  AWS_S3_BUCKET: models

Connection Type ConfigMap 示例

apiVersion: v1
kind: ConfigMap
metadata:
  name: ct-uri-repository
  namespace: kube-public
  labels:
    cpaas.io/dashboard: "true"
    cpaas.io/connection-type: "true"
  annotations:
    cpaas.io/display_name: URI repository
    cpaas.io/disabled: "false"
data:
  category: '["URI"]'
  fields: >-
    [
      {
        "type": "section",
        "name": "URI",
        "description": "Fields required for URI model serving."
      },
      {
        "type": "uri",
        "name": "URI",
        "envVar": "URI",
        "required": true,
        "properties": {
          "defaultReadOnly": false
        }
      }
    ]

注意: 与最近的 OpenShift AI 文档相比,当前 Alauda AI 前端仍通过 cpaas.io/connection-type-ref 将 connection 绑定到其模板,并且还会将模型服务兼容性写入 cpaas.io/connection-type-protocol。