在 Huawei Cloud Stack 上创建 global 集群

前提条件

操作步骤

1. 写入 install-config.yaml

在 bootstrap 节点上创建安装目录,例如 /root/global-install,并在其中写入 install-config.yaml。本页中的命令将此目录称为 <install-dir>;请参阅安装目录。请将文件设为私有(chmod 600 install-config.yaml),因为其中包含密码。

复制以下模板并填写占位符。编号行专用于 Huawei Cloud Stack,具体说明见模板下方的表格。对于其他字段,请参阅通用 install-config.yaml 字段。对于 ac 从此文件渲染的对象,请参阅渲染的 Manifest。

install-config.yaml
global:
  registry:
    address: <host>:<port>
    username: <user>
    password: <password>
  platform:
    address: <platform-domain-or-ip>
    username: admin@cpaas.io
    password: <password>
    extraAddresses: []
    cert:
      certificateFile: <console-cert-file>
      privateKeyFile: <console-key-file>
      # pkcs12CertificateFile: <console-pkcs12-file>
      # pkcs12Password: <password>

cluster:
  sshKeys:
    - <ssh-public-key>
  ntpServers: []
  network:
    podCIDR: 10.199.0.0/16
    serviceCIDR: 10.96.0.0/12
    kubeOVN:
      joinCIDR: 100.64.0.0/16

provider:
  hcs:
    credential:
      accessKey: <access-key>
      secretKey: <secret-key>
      projectID: <project-id>
      region: <region>
      externalGlobalDomain: <domain>
      schema: https
    imageName: <image-name>
    flavorName: <flavor-name>
    # availabilityZone: <az>
    network:
      vpcName: <vpc-name>
      securityGroupName: <security-group>
      subnetName: <primary-subnet>
    elb:
      vipAddress: <control-plane-vip>
      # vipSubnetName: <vip-subnet-name>
      l4:
        # subnetName: <subnet-name>
        ips: [<l4-ip-1>, <l4-ip-2>]
      l7:
        # subnetName: <subnet-name>
        ips: [<l7-ip-1>, <l7-ip-2>]
    rootDisk:
      type: SSD
      sizeGiB: <root-disk-gib>
    diskType: SSD
    # controlPlaneHA:
    #   enabled: true
    #   policy: soft-anti-affinity

controlPlane:
  replicas: 3
  deployMode: normal
  # hcs:
  #   flavorName: <flavor-name>
  #   availabilityZone: <az>
  #   subnetName: <subnet-name>
  #   rootDisk:
  #     type: SSD
  #     sizeGiB: <root-disk-gib>
  network:
    additions: []
    # additions:
    #   - hcs:
    #       subnetName: <additional-subnet>
  disks:
    ephemeral:
      - name: var-lib-containerd
        sizeGiB: 100
      - name: var-lib-kubelet
        sizeGiB: 100
      - name: var-lib-etcd
        sizeGiB: 20
    persistent:
      - name: var-cpaas
        sizeGiB: 100
    rawDisks: [] 
    # rawDisks:
    #   - name: data-001
    #     sizeGiB: 50
    # hcs:
    #   type: SSD
  hosts:
    - hostname: <cp-0-hostname>
      ip: <cp-0-ip>
      additionalIps: []
    - hostname: <cp-1-hostname>
      ip: <cp-1-ip>
      additionalIps: []
    - hostname: <cp-2-hostname>
      ip: <cp-2-ip>
      additionalIps: []

computes:
  - name: worker
    replicas: 3
    deployMode: normal
    # hcs:
    #   flavorName: <flavor-name>
    #   availabilityZone: <az>
    #   subnetName: <subnet-name>
    #   rootDisk:
    #     type: SSD
    #     sizeGiB: <root-disk-gib>
    network:
      additions: []
      # additions:
      #   - hcs:
      #       subnetName: <additional-subnet>
    disks:
      ephemeral:
        - name: var-lib-containerd
          sizeGiB: 100
        - name: var-lib-kubelet
          sizeGiB: 100
      persistent:
        - name: var-cpaas
          sizeGiB: 100
      rawDisks: []
      # rawDisks:
      #   - name: data-001
      #     sizeGiB: 50
      # hcs:
      #   type: SSD
    hosts:
      - hostname: <worker-0-hostname>
        ip: <worker-0-ip>
        additionalIps: []
      - hostname: <worker-1-hostname>
        ip: <worker-1-ip>
        additionalIps: []
      - hostname: <worker-2-hostname>
        ip: <worker-2-ip>
        additionalIps: []
#字段说明
provider.hcs必需 · objectHuawei Cloud Stack 设置。
1provider.hcs.credential必需 · object内联写入的 HCS API 凭证。该凭证会渲染到 global-credential Secret 中。credentialRef 会被拒绝。必需字段:accessKey、secretKey、projectID、region 和 externalGlobalDomain(不含 scheme 的 HCS 外部域名)。schema:https(默认值)或 http。
2provider.hcs.imageName必需 · string上传到 HCS 的 Alauda OS 镜像。所有节点都由此镜像创建。其 Alauda OS 版本与平台版本匹配。请参阅版本映射。
3provider.hcs.flavorName有条件 · string按 API 名称指定的默认 ECS flavor。除非每个节点组都设置 hcs.flavorName,否则此字段为必需字段。flavor 设置 CPU 和内存。因此,每个节点组都不允许使用 cpuCore 和 memoryGiB。
4provider.hcs.availabilityZone可选 · string · 默认值:HCS 报告的第一个可用 zone默认 availability zone。节点组可以覆盖此设置。请参阅Availability Zone 放置。
5provider.hcs.network必需 · object节点网络。vpcName 和 securityGroupName 应用于每个节点,节点组无法更改它们。subnetName 是主 NIC 的默认子网,即 VPC 中的现有子网;节点组可以覆盖此设置。文件中指定的每个子网都必须位于此 VPC 中。ac 会将所有子网收集到 HCSCluster 中。
6provider.hcs.elb必需 · object由 provider 创建的控制平面 ELB。vipAddress:控制平面 VIP,即 VIP 子网中的 IPv4 地址。对于灾难恢复,请参阅创建 Global 集群灾难恢复对。vipSubnetName:可选,默认为 network.subnetName。l4.ips 和 l7.ips:L4 和 L7 Hybrid Load Balancing 地址。每个字段必须正好包含两个不同的 IPv4 地址。它们可选的 subnetName 默认为 network.subnetName。
7provider.hcs.rootDisk有条件 · object所有节点的系统盘。除非每个节点组都设置 hcs.rootDisk,否则此字段为必需字段。type:EVS 类型,可以是 SSD、SAS 或 SATA 之一。type 默认为 SSD。sizeGiB:必需且大于 0。
8provider.hcs.diskType可选 · string · 默认值:SSD数据盘和持久化磁盘的 EVS 类型:SSD、SAS 或 SATA。disks.hcs.type 会为一个节点组覆盖此设置。
9provider.hcs.controlPlaneHA可选 · object · 默认值:已启用,soft-anti-affinity控制平面实例的 server group 策略。enabled:默认为 true,可将控制平面分散到物理主机上。false 允许 HCS 自由放置控制平面。policy:soft-anti-affinity(默认值)或 anti-affinity。请参阅控制平面 HA 放置。
controlPlane必需 · object控制平面节点组。
10controlPlane.hcs可选 · object · 默认值:provider.hcs 的值对于此组,覆盖 provider.hcs 的 flavorName、availabilityZone 和 rootDisk,以及 provider.hcs.network 的 subnetName。取消注释此代码块,并仅保留不同的字段。在组的 rootDisk 中同时设置 type 和 sizeGiB,因为它会替换 provider.hcs.rootDisk。请参阅分别放置节点组。
11controlPlane.network可选 · object · 默认值:无额外 NIC仅接受 additions:可选的额外 NIC,按顺序与 hosts[].additionalIps 匹配。使用注释掉的代码块。gateway、dns 和 mask 会被拒绝,在添加项中也一样,因为子网会提供这些值。请参阅添加第二个 NIC。
12controlPlane.network.additions[].hcs可选 · object · 默认值:节点组的子网subnetName:额外 NIC 的子网。
13controlPlane.disks.ephemeral必需 · []objectvar-lib-containerd、var-lib-kubelet 和 var-lib-etcd。它们会随实例一起重新创建。保留名称,仅更改 sizeGiB。
14controlPlane.disks.persistent必需 · []objectvar-cpaas。替换实例时会保留该磁盘。保留名称,仅更改 sizeGiB。
15controlPlane.disks.rawDisks可选 · []object · 默认值:[]用于 TopoLVM 的原始块卷。为每个卷指定一个自行选择的 name,以及一个介于 10 和 32768 之间的 sizeGiB。使用注释掉的代码块。在此处添加任何额外卷,因为其他磁盘名称会被拒绝。请参阅添加原始磁盘。
16controlPlane.disks.hcs可选 · object · 默认值:provider.hcs.diskType 的值type:覆盖此组的 provider.hcs.diskType。
17controlPlane.hosts必需 · []object每个节点对应一个条目,且至少需要 replicas 个条目。每个条目设置 hostname、ip(主 NIC 的 IPv4 地址)和 additionalIps(每个 network.additions 条目对应一个 IPv4 地址,按顺序排列;默认为 [])。
computes[]可选 · []object · 默认值:[]工作节点组,每个组对应一个条目。上述 controlPlane 字段也适用于每个条目。下面各行说明适用于工作节点组且规则不同的字段。
18computes[].disks.ephemeral必需 · []object此列表没有 var-lib-etcd。保留 var-lib-containerd 和 var-lib-kubelet,仅更改 sizeGiB。

cluster.network.loadBalancer 会被拒绝,因为控制平面端点是 provider.hcs.elb 下的 ELB。

2. 创建 Cluster

在 bootstrap 节点上:

<extract-dir>/res/<arch>/ac adm alpha global create --dir <install-dir> --provider hcs

ac 首先检查 IAM 端点 <schema>://iam-apigateway-proxy.<externalGlobalDomain> 是否有响应。如果检查失败,则不会更改任何内容,并且错误信息会指出该端点。

运行 create 前,请确保凭证正确,并确认镜像、flavor、availability zone、VPC、子网和安全组的名称正确。错误的凭证或名称会在阶段 4 停止安装。

安装完成后,create 才会返回。如果 create 停止,请再次运行相同的命令。该命令会跳过已完成的工作。请参阅create 命令。

HCSCluster 存在后,create 不会更改其子网列表(spec.network.subnets)。此后在 install-config.yaml 中添加或更改子网不会生效。

3. 监控安装

在 bootstrap 节点上的另一个终端中:

<extract-dir>/res/<arch>/ac adm alpha global status

有关阶段和常见故障,请参阅故障排除。有关 Huawei Cloud Stack 故障,请参阅Huawei Cloud Stack 上的故障排除。

验证

当 create 返回时,安装即已完成,但某些平台组件可能还需要几分钟才能就绪。在判断结果之前,请按照Alauda OS 的其他检查中的说明等待这些组件就绪。然后按照验证中的说明验证平台,包括其中针对Alauda OS 的检查。

后续步骤