在 Huawei DCS 上创建 global 集群

前提条件

操作步骤

1. 写入 install-config.yaml

在引导节点上创建安装目录,例如 /root/global-install,并在其中写入 install-config.yaml。本页中的命令将此目录称为 <install-dir>;请参阅安装目录。请妥善保管该文件(chmod 600 install-config.yaml),因为其中包含密码。

复制以下模板并填写占位符。编号行特定于 Huawei DCS,相关说明见模板下方的表格。其他字段请参阅通用 install-config.yaml 字段。有关 ac 根据此文件生成的对象,请参阅生成的清单。

install-config.yaml
global:
  registry:
    address: <host>:<port>
    username: <user>
    password: <password>
  platform:
    address: <platform-domain-or-ip>
    username: admin@cpaas.io
    password: <password>
    extraAddresses: []
    cert:
      certificateFile: <console-cert-file>
      privateKeyFile: <console-key-file>
      # pkcs12CertificateFile: <console-pkcs12-file>
      # pkcs12Password: <password>

cluster:
  sshKeys:
    - <ssh-public-key>
  ntpServers: []
  network:
    podCIDR: 10.199.0.0/16
    serviceCIDR: 10.96.0.0/12
    kubeOVN:
      joinCIDR: 100.64.0.0/16
    loadBalancer:
      type: external
      address: <control-plane-endpoint>
      port: 6443
      # vrid: <vrid>
      # interface: <nic-name>

provider:
  dcs:
    credential:
      endpoint: https://<fc-address>:7443
      authUser: <user>
      authKey: <password>
      site: <site-id>
      userType: interconnect
    vmTemplateName: <vm-template-name>
    controlPlaneHA: <control-plane-ha>
    machineFolder: <folder-name>
    # cdRomDatastoreName: <datastore>
    # osType: alaudaos-k
    # rootDisk:
    #   sizeGiB: <root-disk-gib>
    network:
      dvSwitchName: <dv-switch-name>
      portGroupName: <port-group-name>
    disks:
      datastore:
        type: <datastore-type>
        name: <datastore-name>
      isThin: false
      pciType: VIRTIO

controlPlane:
  replicas: 3
  cpuCore: 8
  memoryGiB: 16
  deployMode: normal
  # dcs:
  #   machineFolder: <folder-name>
  #   cdRomDatastoreName: <datastore>
  #   rootDisk:
  #     sizeGiB: <root-disk-gib>
  network:
    gateway: <cp-gateway>
    # dns: [<dns-ip>]
    mask: <prefix-length>
    additions: []
    # additions:
    #   - mask: <prefix-length>
    #     dcs:
    #       dvSwitchName: <dv-switch-name>
    #       portGroupName: <port-group-name>
  disks:
    ephemeral:
      - name: var-lib-containerd
        sizeGiB: 100
      - name: var-lib-kubelet
        sizeGiB: 100
      - name: var-lib-etcd
        sizeGiB: 20
    persistent:
      - name: var-cpaas
        sizeGiB: 100
    rawDisks: [] 
    # rawDisks:
    #   - name: data-001
    #     sizeGiB: 50
    # dcs:
    #   datastore:
    #     type: <datastore-type>
    #     name: <datastore-name>
    #   isThin: true
    #   pciType: VIRTIO
  hosts:
    - hostname: <cp-0-hostname>
      ip: <cp-0-ip>
      additionalIps: []
    - hostname: <cp-1-hostname>
      ip: <cp-1-ip>
      additionalIps: []
    - hostname: <cp-2-hostname>
      ip: <cp-2-ip>
      additionalIps: []

computes:
  - name: worker
    replicas: 3
    cpuCore: 8
    memoryGiB: 16
    deployMode: normal
    # dcs:
    #   machineFolder: <folder-name>
    #   cdRomDatastoreName: <datastore>
    #   rootDisk:
    #     sizeGiB: <root-disk-gib>
    network:
      gateway: <worker-gateway>
      # dns: [<dns-ip>]
      mask: <prefix-length>
      additions: []
      # additions:
      #   - mask: <prefix-length>
      #     dcs:
      #       dvSwitchName: <dv-switch-name>
      #       portGroupName: <port-group-name>
    disks:
      ephemeral:
        - name: var-lib-containerd
          sizeGiB: 100
        - name: var-lib-kubelet
          sizeGiB: 100
      persistent:
        - name: var-cpaas
          sizeGiB: 100
      rawDisks: []
      # rawDisks:
      #   - name: data-001
      #     sizeGiB: 50
      # dcs:
      #   datastore:
      #     type: <datastore-type>
      #     name: <datastore-name>
      #   isThin: true
      #   pciType: VIRTIO
    hosts:
      - hostname: <worker-0-hostname>
        ip: <worker-0-ip>
        additionalIps: []
      - hostname: <worker-1-hostname>
        ip: <worker-1-ip>
        additionalIps: []
      - hostname: <worker-2-hostname>
        ip: <worker-2-ip>
        additionalIps: []
#字段说明
cluster.network必填 · object集群网络。
1cluster.network.loadBalancer必填 · objecttype:external(默认值)使用您自己的负载均衡器,必须在 create 之前就绪。internal 使用由提供程序在控制平面节点上运行的自建 VIP。address:负载均衡器地址或 VIP。必须是一个 IPv4 地址,不能是节点地址,且不能位于 Pod、Service 和 join CIDR 范围内。port:默认值为 6443。使用 internal 时,取消注释 vrid:必填的 VRRP 路由器 ID,取值范围为 1 到 255,并且在控制平面 Layer 2 域中必须唯一。您还可以取消注释 interface:承载 VIP 的 NIC。默认情况下,这是节点 IP 所在的 NIC。不支持 vipMode。请参阅控制平面端点和 HA。
provider.dcs必填 · objectHuawei DCS 设置。
2provider.dcs.credential必填 · object以行内形式写入,并渲染为 global-credential Secret。不接受 credentialRef。endpoint:FusionCompute 地址,即 https://<host>:<port>,末尾不能带斜杠。authUser 和 authKey:用户和明文密码,而不是 DCS 控制台显示的 SHA-256 摘要。site:不带其他内容的站点 ID。不接受 urn:sites: 形式。userType:interconnect(默认值)或 domain。有关 DCS 端的要求,请参阅DCS 凭证 Secret。
3provider.dcs.vmTemplateName必填 · string用于克隆每个节点的 VM 模板。其 Alauda OS 版本应与平台版本匹配。请参阅版本映射。
4provider.dcs.controlPlaneHA必填 · boolean控制平面分布方式。true 使用 DRS 规则将控制平面 VM 分散到 DCS 主机上。有关要求,请参阅控制平面分布。false 则不使用该规则放置 VM。
5provider.dcs.machineFolder必填 · stringDCS 上现有 VM 文件夹的名称,节点 VM 将在其中创建。请使用 VM 文件夹,而非集群或存储文件夹。只输入文件夹名称,不要输入路径;名称必须完全匹配。ac 不会创建文件夹。
6provider.dcs.cdRomDatastoreName可选 · string · 默认值:系统磁盘所在的数据存储用于存放每个节点 Ignition ISO 的 CD-ROM 所在的数据存储。
7provider.dcs.osType可选 · string · 默认值:Alauda OS M55在前提条件中记录的模板 OS。对于 Alauda OS KO 或 KU 模板,请设置 alaudaos-k。请参阅OS 变体。对于其他模板,请省略此项。
8provider.dcs.rootDisk可选 · object · 默认值:VM 模板的系统磁盘大小sizeGiB:系统磁盘大小。DCS 不接受小于模板磁盘大小的值。
9provider.dcs.network必填 · object主 NIC:dvSwitchName,以及该交换机上的 portGroupName。
10provider.dcs.disks.datastore有条件必填 · object节点的所有磁盘创建所在的位置。type:单个数据存储使用 Datastore,数据存储集群使用 DatastoreCluster。name:数据存储或数据存储集群的名称。除非每个节点组都设置 disks.dcs.datastore,否则此项为必填。请参阅磁盘。
11provider.dcs.disks.isThin可选 · boolean · 默认值:falsetrue 会对持久磁盘和原始磁盘进行精简置备。false 会对其进行厚置备。此设置不会影响临时磁盘。
12provider.dcs.disks.pciType可选 · string · 默认值:VIRTIO持久磁盘和原始磁盘的总线:VIRTIO、SCSI 或 IDE。
controlPlane必填 · object控制平面节点组。
13controlPlane.dcs可选 · object · 默认值:provider.dcs 的值对此组覆盖 provider.dcs 中的 machineFolder、cdRomDatastoreName 和 rootDisk。规则相同。取消注释此块,只保留值不同的字段。
14controlPlane.network必填 · object节点的 NIC。gateway:主 NIC 的 IPv4 网关。mask:其前缀长度,范围为 1 到 32。dns:可选。DCS 仅使用第一个条目。additions:可选的其他 NIC,按顺序与 hosts[].additionalIps 匹配。additions 默认为 []。请使用注释掉的代码块。对于每个附加项,mask 的取值范围为 1 到 32,默认值为 network.mask。请参阅附加 NIC。
15controlPlane.network.additions[].dcs可选 · object · 默认值:provider.dcs.network 的值附加 NIC 的交换机和端口组:dvSwitchName 和 portGroupName。
16controlPlane.disks.ephemeral必填 · []objectvar-lib-containerd、var-lib-kubelet 和 var-lib-etcd。它们会随 VM 一起重新创建。请保留名称,只更改 sizeGiB。
17controlPlane.disks.persistent必填 · []objectvar-cpaas。替换 VM 时会保留此磁盘。请保留名称,只更改 sizeGiB。
18controlPlane.disks.rawDisks可选 · []object · 默认值:[]供 TopoLVM 使用的原始块卷。为每个卷指定一个自选的 name 和一个大于 0 的 sizeGiB。请使用注释掉的代码块。请参阅TopoLVM 的原始磁盘。
19controlPlane.disks.dcs可选 · object · 默认值:provider.dcs.disks 的值对此组覆盖 provider.dcs.disks 中的 datastore、isThin 和 pciType。取消注释此块,只保留值不同的字段。如果覆盖数据存储,请设置其两个字段。
20controlPlane.hosts必填 · []object每个节点对应一个条目,且至少需要 replicas 个条目,因为 DCS 不会分配节点身份。每个条目设置 hostname、ip(主 NIC 的 IPv4 地址),以及 additionalIps(按顺序为每个 network.additions 条目指定一个 IPv4 地址;默认值为 [])。
computes[]可选 · []object · 默认值:[]工作节点组,每个组对应一个条目。上述 controlPlane 字段也适用于每个条目。下方各行说明工作节点条目中的编号行。
21computes[].dcs可选 · object · 默认值:provider.dcs 的值与 controlPlane.dcs 相同。
22computes[].disks.ephemeral必填 · []object此列表没有 var-lib-etcd。请保留 var-lib-containerd 和 var-lib-kubelet,只更改 sizeGiB。

2. 创建集群

在引导节点上:

<extract-dir>/res/<arch>/ac adm alpha global create --dir <install-dir> --provider dcs

ac 会先检查 DCS 登录状态、install-config.yaml 中指定的 DCS 对象以及 registry。如果某项检查失败,则不会进行任何更改,错误消息会指出失败的项目。运行 create 之前,请确保 external 负载均衡器已就绪。

WARNING

运行 create 之前,请确保 install-config.yaml 中的密码正确。多次登录失败后,DCS 会锁定帐户。

安装完成后,create 会返回。如果 create 中断,请再次运行相同的命令。该命令会跳过已完成的工作。请参阅create 命令。

3. 监控安装

在引导节点的另一个终端中:

<extract-dir>/res/<arch>/ac adm alpha global status

有关阶段和常见故障,请参阅故障排除。有关 Huawei DCS 故障,请参阅Huawei DCS 故障排除。

验证

当 create 返回时,安装即完成,但某些平台组件可能还需要几分钟才能就绪。评估结果之前,请按照适用于 Alauda OS 的其他检查中的说明等待这些组件就绪。然后按照验证中的说明验证平台,包括其中的适用于 Alauda OS 的检查。

适用于:自行构建的 VIP(cluster.network.loadBalancer.type: internal)。使用 external 负载均衡器时,请跳过此检查。

以 boot 用户(ssh boot@<control-plane-node-ip>)登录 global 集群的控制平面节点。使用与 cluster.sshKeys 中的 SSH 公钥匹配的私钥。使用 sudo 运行 curl,因为只有 root 才能读取集群 CA 文件:

sudo curl --cacert /etc/kubernetes/pki/ca.crt https://<control-plane-vip>:6443/healthz

当其输出 ok 时继续操作。否则,请参阅Huawei DCS 故障排除。

后续步骤