在 VMware vSphere 上创建 global 集群

前提条件

操作步骤

1. 写入 install-config.yaml

在 bootstrap 节点上创建安装目录,例如 /root/global-install,并在其中写入 install-config.yaml。此页面上的命令将此目录称为 <install-dir>;请参阅安装目录。请将文件设为私有(chmod 600 install-config.yaml),因为其中包含密码。

复制以下模板并填写占位符。编号行是 VMware vSphere 专用的配置项,下方表格对此进行了说明。有关其他字段,请参阅通用 install-config.yaml 字段。有关 ac 根据此文件渲染的对象,请参阅渲染的清单。

install-config.yaml
global:
  registry:
    address: <host>:<port>
    username: <user>
    password: <password>
  platform:
    address: <platform-domain-or-ip>
    username: admin@cpaas.io
    password: <password>
    extraAddresses: []
    cert:
      certificateFile: <console-cert-file>
      privateKeyFile: <console-key-file>
      # pkcs12CertificateFile: <console-pkcs12-file>
      # pkcs12Password: <password>

cluster:
  sshKeys:
    - <ssh-public-key>
  ntpServers: []
  network:
    podCIDR: 10.199.0.0/16
    serviceCIDR: 10.96.0.0/12
    kubeOVN:
      joinCIDR: 100.64.0.0/16
    loadBalancer:
      type: external
      address: <control-plane-endpoint>
      port: 6443
      # vrid: <vrid>
      # interface: <nic-name>

provider:
  vsphere:
    server: <vcenter-address>
    credential:
      username: <administrator@vsphere.local>
      password: <password>
    datacenter: <datacenter>
    template: <template-name-or-path>
    datastore: <datastore>
    # folder: <folder-path>
    computeResource: <cluster-or-host>
    # rootDisk:
    #   sizeGiB: <root-disk-gib>
    releaseDelayHours: 24
    network:
      name: <portgroup-name>
      # deviceName: <nic-name>

controlPlane:
  replicas: 3
  cpuCore: 8
  memoryGiB: 16
  deployMode: normal
  # vsphere:
  #   datastore: <datastore>
  #   folder: <folder-path>
  #   computeResource: <cluster-or-host>
  #   rootDisk:
  #     sizeGiB: <root-disk-gib>
  network:
    gateway: <cp-gateway>
    dns: [<dns-ip>]
    mask: <prefix-length>
    additions: []
    # additions:
    #   - mask: <prefix-length>
    #     vsphere:
    #       name: <portgroup-name>
    #       deviceName: <nic-name>
  disks:
    ephemeral:
      - name: var-lib-containerd
        sizeGiB: 100
      - name: var-lib-kubelet
        sizeGiB: 100
      - name: var-lib-etcd
        sizeGiB: 20
    persistent:
      - name: var-cpaas
        sizeGiB: 100
    rawDisks: [] 
    # rawDisks:
    #   - name: data-001
    #     sizeGiB: 50
    # vsphere:
    #   datastore: <datastore>
    #   storagePolicy: <storage-policy>
  hosts:
    - hostname: <cp-0-hostname>
      ip: <cp-0-ip>
      additionalIps: []
    - hostname: <cp-1-hostname>
      ip: <cp-1-ip>
      additionalIps: []
    - hostname: <cp-2-hostname>
      ip: <cp-2-ip>
      additionalIps: []

computes:
  - name: worker
    replicas: 3
    cpuCore: 8
    memoryGiB: 16
    deployMode: normal
    # vsphere:
    #   datastore: <datastore>
    #   folder: <folder-path>
    #   computeResource: <cluster-or-host>
    #   rootDisk:
    #     sizeGiB: <root-disk-gib>
    network:
      gateway: <worker-gateway>
      dns: [<dns-ip>]
      mask: <prefix-length>
      additions: []
      # additions:
      #   - mask: <prefix-length>
      #     vsphere:
      #       name: <portgroup-name>
      #       deviceName: <nic-name>
    disks:
      ephemeral:
        - name: var-lib-containerd
          sizeGiB: 100
        - name: var-lib-kubelet
          sizeGiB: 100
      persistent:
        - name: var-cpaas
          sizeGiB: 100
      rawDisks: []
      # rawDisks:
      #   - name: data-001
      #     sizeGiB: 50
      # vsphere:
      #   datastore: <datastore>
      #   storagePolicy: <storage-policy>
    hosts:
      - hostname: <worker-0-hostname>
        ip: <worker-0-ip>
        additionalIps: []
      - hostname: <worker-1-hostname>
        ip: <worker-1-ip>
        additionalIps: []
      - hostname: <worker-2-hostname>
        ip: <worker-2-ip>
        additionalIps: []
#字段描述
cluster.network必需 · object集群网络。
1cluster.network.loadBalancer必需 · objecttype:external 为默认值,使用自有负载均衡器,该负载均衡器必须在 create 之前准备就绪。internal 使用由 provider 在控制平面节点上运行的自建 VIP。集群创建后无法更改类型。address:负载均衡器地址或 VIP。必须是 IPv4 地址,不能是节点地址,并且必须位于 Pod、Service 和 join CIDR 范围之外。port:默认为 6443。使用 internal 时,取消注释 vrid:必需的 VRRP 路由器 ID,范围为 1 到 255,并且在控制平面 Layer 2 域中唯一。还可以取消注释 interface:承载 VIP 的 NIC。默认情况下,这是节点 IP 所使用的 NIC。不支持 vipMode。
provider.vsphere必需 · objectVMware vSphere 设置。
2provider.vsphere.server必需 · stringvCenter 地址。
3provider.vsphere.credential必需 · object以内联方式写入的 vCenter username 和 password。它们会被渲染到 global-credential Secret 中。不接受 credentialRef。
4provider.vsphere.datacenter必需 · string数据中心,可以按名称或清单路径指定。嵌套路径(例如 /folder/dc)不能与 computeResource 结合使用。
5provider.vsphere.template必需 · string所有节点克隆自的 VM 模板名称,而不是清单路径。其 Alauda OS 版本与平台版本匹配。请参阅版本映射。
6provider.vsphere.datastore条件必需 · stringVM 及其磁盘默认使用的数据存储,可以按名称或清单路径指定。除非每个节点组都设置 vsphere.datastore,否则此字段为必需。
7provider.vsphere.folder可选 · string · 默认值:数据中心的 VM 文件夹VM 文件夹,可以按名称或清单路径指定。专用文件夹便于查找 global VM。
8provider.vsphere.computeResource条件必需 · stringDRS 集群或独立主机,按名称指定,而不是按清单路径指定。当数据中心包含多个计算资源时,此字段为必需,因为缺少该字段会导致 VM 创建失败。如果数据中心仅包含一个计算资源,则可以删除此行。
9provider.vsphere.rootDisk可选 · object · 默认值:模板的系统磁盘大小sizeGiB:系统磁盘大小,不包括数据磁盘。不能小于模板的系统磁盘大小。仅在模板没有快照时生效,此时 provider 会执行完整克隆。链接克隆会保留模板的大小。
10provider.vsphere.releaseDelayHours可选 · integer · 默认值:24machine config pool 的已释放槽位在删除其持久磁盘前保留的小时数。替换机器会立即占用已释放的槽位。
11provider.vsphere.network必需 · object每个节点的主 NIC。name:端口组或分布式端口组,可以按名称或清单路径指定。deviceName:可选,guest 中的 NIC 名称。deviceName 默认为 eth0、eth1 等,按设备顺序排列。
controlPlane必需 · object控制平面节点组。
12controlPlane.cpuCore、controlPlane.memoryGiB必需 · integer节点组的 VM 大小:CPU 核心数和 GiB 为单位的内存,两者都必须大于 0。在每个节点组中保留这两行;可以更改其值。
13controlPlane.vsphere可选 · object · 默认值:provider.vsphere 的值对于此组,覆盖 provider.vsphere 的 datastore、folder、computeResource 和 rootDisk。规则相同。取消注释此块,并仅保留不同的字段。
14controlPlane.network必需 · object节点的 NIC。gateway:主 NIC 的 IPv4 网关。mask:其前缀长度,范围为 1 到 32。dns:必需。每个条目都会写入节点的 resolv.conf。additions:可选的其他 NIC,按顺序与 hosts[].additionalIps 匹配。additions 默认为 []。使用注释块。在每个附加项中,mask 的范围为 1 到 32,默认为 network.mask。
15controlPlane.network.additions[].vsphere可选 · object · 默认值:provider.vsphere.network 的端口组当附加 NIC 与主 NIC 不同时进行设置。name:端口组,默认为 provider.vsphere.network.name。deviceName:guest 中的 NIC 名称。
16controlPlane.disks.ephemeral必需 · []objectvar-lib-containerd、var-lib-kubelet 和 var-lib-etcd。它们会格式化为 xfs,并随 VM 一起重新创建。保留名称,仅更改 sizeGiB。
17controlPlane.disks.persistent必需 · []objectvar-cpaas。它会格式化为 xfs,并在替换 VM 时保留。保留名称,仅更改 sizeGiB。
18controlPlane.disks.rawDisks可选 · []object · 默认值:[]用于 TopoLVM 的原始块卷。为每个卷指定自选的 name 和大于 0 的 sizeGiB。每个卷都会以未格式化状态挂载到 /dev/disk/by-capv/<name>。使用注释块。请在此处添加所有额外卷,因为其他磁盘名称会被拒绝。
19controlPlane.disks.vsphere可选 · object · 默认值:组的数据存储,不使用存储策略放置此组的数据磁盘。datastore:默认为组的数据存储。storagePolicy:数据磁盘的存储策略。取消注释此块,并仅保留已设置的字段。
20controlPlane.hosts必需 · []object每个节点对应一个条目,且至少需要 replicas 个条目。每个条目是组的 machine config pool 的一个槽位。它设置 hostname、ip(主 NIC 的 IPv4 地址)和 additionalIps(每个 network.additions 条目对应一个 IPv4 地址,按顺序排列;默认为 [])。
computes[]可选 · []object · 默认值:[]工作节点组,每个组对应一个条目。上述 controlPlane 字段同样适用于每个条目。以下各行描述规则与工作节点组不同的字段。
21computes[].disks.ephemeral必需 · []object列表不包含 var-lib-etcd。保留 var-lib-containerd 和 var-lib-kubelet,仅更改 sizeGiB。

如果将数据存储、文件夹或端口组指定为清单路径,请确保该路径存在。

2. 创建集群

在 bootstrap 节点上:

<extract-dir>/res/<arch>/ac adm alpha global create --dir <install-dir> --provider vsphere

ac 首先检查 Core Package 中的 CPI 镜像、vCenter 登录信息以及 install-config.yaml 中命名的 vCenter 对象。如果检查失败,则不会进行任何更改,并且错误会指出第一个缺失项。运行 create 之前,请确保 external 负载均衡器已准备就绪。

安装完成后,create 才会返回。如果 create 停止运行,请再次运行相同的命令。该命令会跳过已完成的工作。请参阅create 命令。

3. 监控安装

在 bootstrap 节点上的另一个终端中:

<extract-dir>/res/<arch>/ac adm alpha global status

有关阶段和常见故障,请参阅故障排除。有关 VMware vSphere 故障,请参阅VMware vSphere 上的故障排除。

验证

当 create 返回时,安装即已完成,但某些平台组件可能还需要几分钟才能就绪。在判断结果之前,请按照Additional Checks for Alauda OS中的说明等待这些组件就绪。然后按照Validation中的说明验证平台,包括其中针对Alauda OS 的检查。

适用范围:自建 VIP(cluster.network.loadBalancer.type: internal)。使用 external 负载均衡器时,请跳过此检查。

以 boot 用户(ssh boot@<control-plane-node-ip>)登录 global 集群的控制平面节点。使用与 cluster.sshKeys 中 SSH 公钥匹配的私钥。使用 sudo 运行 curl,因为只有 root 才能读取集群 CA 文件:

sudo curl --cacert /etc/kubernetes/pki/ca.crt https://<control-plane-vip>:6443/healthz

当其输出 ok 时继续操作。否则,请参阅VMware vSphere 上的故障排除。

后续步骤