Huawei Cloud Stack 的 install-config.yaml 参数

本页介绍 Huawei Cloud Stack 业务集群的 install-config.yaml 中的字段如何映射到渲染后的对象,以及可选的拓扑。有关字段本身,请参阅编写 install-config.yaml。

Kubernetes 版本

无需设置 Kubernetes、etcd 或 Kube-OVN 版本。ac 会安装平台支持的最新 Kubernetes 版本,该版本是 kube-public/base-component-version ConfigMap 中的默认条目。它会安装与该版本匹配的 etcd 标签,并将二者都打印为 Pinning Kubernetes <version>, etcd <tag>。它会从 global 集群的 Kube-OVN 插件读取 Kube-OVN 版本。provider.hcs.imageName 中的镜像必须包含该 Kubernetes 版本。

控制平面端点

provider 会为 Kubernetes API server 创建 ELB,并管理其 VIP。该 ELB 使用混合负载均衡,固定地址位于 provider.hcs.elb.l4 和 provider.hcs.elb.l7 中。集群创建后,请勿在 provider 创建的 ELB 上禁用混合负载均衡。

provider 会根据 ELB 设置控制平面端点。请将 provider.hcs.elb.vipDomainName 留空。

控制平面 HA 放置

默认情况下启用 provider.hcs.controlPlaneHA。启用后,provider 会为控制平面实例保留一个 HCS server group;请参阅验证控制平面 HA。该 server group 仅适用于控制平面,不适用于工作节点组。它会在一个可用区内将实例分散到不同的物理主机上,而不会跨可用区分散。

PolicyBehaviorOperational impact
soft-anti-affinity (default)尽力而为的反亲和性。HCS 会尝试将控制平面实例放置在不同的主机上。如果希望分散放置,但不希望规则阻止创建 ECS,请使用此策略。最终放置结果仍可能有多个实例共用一台主机。
anti-affinity强制反亲和性。HCS 必须将控制平面实例放置在不同的主机上。需要严格隔离主机时使用此策略。如果 HCS 找不到满足规则的足够容量,ECS 创建可能会失败。

在现有集群上启用 controlPlaneHA 或更改其策略,不会迁移正在运行的控制平面实例。只有之后创建的实例(例如,通过滚动替换创建的实例)才会加入 server group。在所有正在运行的实例都完成替换之前,ControlPlaneHAReady 可能会保持为 False,并带有 ControlPlaneHAPending。

可用区放置

ac 会为控制平面渲染一个 HCSMachineTemplate,并为每个工作节点组各渲染一个。HCSMachineTemplate 会为从其创建的每台机器选择一个可用区。因此:

  • 所有控制平面节点都使用同一个可用区。
  • 同一工作节点组中的所有副本都使用同一个可用区。
  • 不同的工作节点组可以选择不同的可用区,使用 computes[].hcs.availabilityZone。
  • 单个节点组不会自动将副本分散到多个可用区。

为确保放置位置可预测,请显式选择可用区。如果可用区字段为空,provider 会选择 HCS 报告的第一个可用区。provider 会拒绝 HCS 未返回的名称。创建集群前,请确保指定的每个可用区均可用,因为在不可用区创建 ECS 可能会失败。

WARNING

现有的、由节点池管理的持久磁盘会将其替换 ECS 实例固定到该磁盘所在的可用区。如果模板显式选择了其他可用区,替换操作会因可用区冲突而失败。

节点网络

每个 NIC 都有一个子网和一个固定 IPv4 地址。子网提供网关和 DNS。节点子网为 provider.hcs.network.subnetName,或节点组的 hcs.subnetName。

如需连接更多 NIC,请参阅添加第二个 NIC。provider 只会为每个 NIC 连接其子网和静态 IP。它不支持:

  • 声明每个 NIC 的角色或用途
  • 为特定 NIC 指定默认网关
  • 静态路由或路由度量值
  • 按 NIC 配置 DNS

磁盘

每个节点组都必须声明所有标准磁盘:每个组都要声明 var-lib-containerd、var-lib-kubelet 和 var-cpaas,控制平面还要声明 var-lib-etcd。ac 会将这些磁盘格式化为 xfs,并挂载到 /var/lib/containerd、/var/lib/kubelet、/var/cpaas 和 /var/lib/etcd。

列表渲染为替换实例时
ephemeralHCSMachineTemplate.spec.template.spec.dataVolumes[]随新 ECS 重新创建为空磁盘。
persistent (var-cpaas)HCSMachineConfigPool.spec.configs[].persistentDisks[],带有挂载路径从旧 ECS 分离并连接到替换实例。
rawDisksHCSMachineConfigPool.spec.configs[].persistentDisks[],不带挂载路径或文件系统像 persistent 一样分离并重新连接;请参阅添加原始磁盘。

/var/cpaas 用于存储平台状态和必须在实例替换后保留的日志。请根据平台监控、日志和插件数据确定其大小。persistent 或 rawDisks 条目创建新的 EVS 磁盘时,其 sizeGiB 必须介于 10 和 32768 之间。ac 不会检查此范围;创建节点时,provider 会报告超出范围的大小。

节点上的主机名行为

hosts[].hostname 必须是一个在集群中唯一的 DNS-1123 子域名:

  • 只能包含小写字母、数字、连字符(-)和点(.)。
  • 必须以小写字母或数字开头和结尾。
  • 最多包含 253 个字符。

ac 会拒绝其他值。

provider 根据该值按如下方式派生节点的 POSIX 主机名和 FQDN:

hostname 值节点 hostname节点 hostname -f写入的 /etc/hosts 条目
master-1(无点)master-1master-1(解析器返回短名称)provider 不添加任何条目
master-1.example.org(带点)master-1(短标签,会去除点及其后的所有内容)master-1.example.org127.0.1.1 master-1.example.org master-1

对于依赖 FQDN 解析的应用(例如 hostname -f)、带 SAN 条目的证书或日志标签,请使用带点的形式。

渲染的清单

ac 会将其应用的对象写入 <install-dir>/manifests/,每个对象一个文件,全部位于 cpaas-system 中:

对象名称备注
Secret<cluster-name>-encryption-provider-config加密配置,由 HCSCluster 引用。
Cluster<cluster-name>标记为 cluster-type: HCS。
HCSCluster<cluster-name>VPC、子网清单、安全组、控制平面 ELB、controlPlaneHA 和 identityRef。没有 controlPlaneEndpoint。
HCSMachineConfigPool、HCSMachineTemplate、KubeadmControlPlane<cluster-name>-control-plane
HCSMachineConfigPool、HCSMachineTemplate、MachineDeployment<cluster-name>-<group>
KubeadmConfigTemplate<cluster-name>-<group>-config

凭证 Secret 和 registry Secret 由你负责管理;ac 既不会渲染也不会删除它们。每个节点组一次替换一个节点(maxSurge: 0),具有 3 个或更多副本的控制平面也是如此。因此,替换不需要额外的 IP 地址。

有关这些对象的 API 字段,请参阅Provider APIs。

Machine Config Pools

hosts、NIC 以及持久磁盘和原始磁盘会写入 HCSMachineConfigPool。镜像、flavor、可用区、系统磁盘和临时磁盘会写入 HCSMachineTemplate。对于使用默认设置的一个 worker 主机,渲染的两个对象如下:

apiVersion: infrastructure.cluster.x-k8s.io/v1beta1
kind: HCSMachineConfigPool
metadata:
  name: <cluster-name>-worker
  namespace: cpaas-system
spec:
  configs:
  - hostname: <worker-0-hostname>
    networks:
    - subnetName: <subnet-name>
      ipAddress: <worker-0-ip>
    persistentDisks:             # Kept when the instance is replaced
    - slot: 0
      size: 100
      type: SSD
      mountPath: /var/cpaas
      format: xfs
---
apiVersion: infrastructure.cluster.x-k8s.io/v1beta1
kind: HCSMachineTemplate
metadata:
  name: <cluster-name>-worker
  namespace: cpaas-system
spec:
  template:
    spec:
      imageName: <image-name>
      flavorName: <flavor-name>
      rootVolume:
        type: SSD
        size: 200
      configPoolRef:
        name: <cluster-name>-worker
      dataVolumes:               # Recreated with the instance
      - size: 100
        type: SSD
        mountPath: /var/lib/containerd
        format: xfs
      - size: 100
        type: SSD
        mountPath: /var/lib/kubelet
        format: xfs

ac 会从插槽 0 开始为每台主机的持久磁盘编号。var-cpaas 排在最前面,然后是按照声明顺序排列的原始磁盘。

稍后更改渲染的对象

如在 Huawei Cloud Stack 上管理节点中所述,集群创建后编辑这些对象时,适用以下 provider 规则。

  • provider 接受持久磁盘条目后,不要更改其 slot、size、type、format 或 mountPath。不要删除该条目。不要重命名具有持久磁盘的主机。在列表末尾添加 rawDisks。
  • 可以向现有主机追加 persistentDisks[] 条目。provider 会创建 EVS 磁盘,但只有在替换节点时才会格式化和挂载该磁盘。
  • 可以更新 mountOptions,其默认值为 defaults,noatime。更改会在替换节点时生效,并由替换实例渲染其磁盘挂载。
  • 不要在 HCSMachineConfigPool.spec.configs[].persistentDisks[] 和 HCSMachineTemplate.spec.template.spec.dataVolumes[] 中声明相同的挂载路径。
  • 在具有 3 个或更多副本的 KubeadmControlPlane 上保留 maxSurge: 0,并在池使用持久磁盘的每个 MachineDeployment 上保留该项。
  • 在手写的 networks[] 条目中,设置 subnetName 或 subnetId,但不要同时设置两者。如果旧条目仍保留已弃用的 subenetName,并且你添加了 subnetName,请使用相同的值。

可选拓扑

编写 install-config.yaml中的模板为每个节点使用一个子网和一个 NIC。模板以注释块的形式展示以下变体。在创建集群之前设置这些配置,并渲染清单以检查结果。

添加第二个 NIC

在每个节点组的 network.additions 中声明 NIC,并按照相同顺序,在 additionalIps 中为每台主机的每个 NIC 配置一个地址:

controlPlane:
  network:
    additions:
      - hcs:
          subnetName: <nic2-subnet-name>   # Optional: empty takes the node group's subnet
  hosts:
    - hostname: <cp-0-hostname>
      ip: <cp-0-ip>
      additionalIps: [<cp-0-nic2-ip>]

每项新增配置都会成为 HCSMachineConfigPool 中该主机的另一条 networks[]。有关 provider 不会在 NIC 上配置哪些内容,请参阅节点网络。

添加原始磁盘

如需更多存储,请添加 rawDisks。每个条目都会成为一个没有挂载路径和文件系统的持久磁盘,供 TopoLVM 或其他使用方使用:

disks:
  rawDisks:
    - name: data-001
      sizeGiB: 50

滚动替换时,同一个 EVS 磁盘会重新挂载到新实例上。系统不会自动格式化或挂载该磁盘。

将节点组分开放置

节点组的 hcs 块会覆盖该组的集群级 flavor、可用区、子网和系统磁盘;请参阅编写 install-config.yaml中的 hcs 字段。使用此配置可将 worker 节点组放置在不同的可用区或子网中;请参阅可用区放置。