install-config.yaml 参数(Huawei DCS)

本页面介绍 Huawei DCS 业务集群的 install-config.yaml 中的字段如何作用于 DCS:控制平面端点、节点地址和放置、磁盘以及可选拓扑。同时还列出了 ac 根据这些字段渲染的对象。有关字段本身的信息,请参阅编写 install-config.yaml。

控制平面端点和 HA

  • external:您的负载均衡器将 TCP/6443 转发到控制平面节点。
  • internal(自建 VIP):provider 在控制平面节点上运行 VIP;请参阅自建 VIP。
  • controlPlaneHA: true:provider 为控制平面 VM 保持 DRS 互斥规则,DCS 调度器则将这些 VM 保持在不同的主机上。该配置适用于任一端点模式。provider 不会自行运行 DRS。有关 DCS 端的要求,请参阅DCS 对象、容量和地址。

即使集群只有一个控制平面节点,仍然需要选择一种端点模式。

节点地址和放置

每个节点组都会在 hosts 中列出其节点,其中至少包含 replicas 个条目。超出 replicas 的条目会成为该组 DCSIpHostnamePool 中的备用槽位。只有当该组没有备用槽位时,才能保证替换 VM 接管其所替换节点的地址槽位,并接管其持久化磁盘;请参阅在 Alauda OS 节点上发生的情况。所有节点组中的主机名和地址必须唯一,并且必须不同于控制平面端点。组中的每个节点共享该组的 network。

DCS 调度器会选择每个 VM 所在的主机。使用 controlPlaneHA: true 时,provider 还会维护一条 DRS 规则,将控制平面 VM 放置在不同的主机上;请参阅控制平面端点和 HA。machineFolder 会在 DCS 上将 VM 分组,但不会影响放置。节点组可以在 <group>.dcs 下设置自己的 machineFolder。

磁盘

每个节点组都必须声明完整的标准磁盘集。ac 会拒绝任何其他名称,也会拒绝缺少标准磁盘的节点组。

名称类型挂载路径节点组
var-lib-containerdephemeral/var/lib/containerd全部
var-lib-kubeletephemeral/var/lib/kubelet全部
var-lib-etcdephemeral/var/lib/etcd仅控制平面
var-cpaaspersistent/var/cpaas全部
  • 临时磁盘会挂载到 DCSMachineTemplate,位于系统磁盘旁,并会随 VM 一起重新创建。
  • 持久化磁盘和原始磁盘会挂载到 DCSIpHostnamePool 中每个节点的地址槽位。替换 VM 时,这些磁盘会先分离,再重新挂载到替换 VM 上;替换 VM 会挂载现有文件系统,而不是对其进行格式化。请参阅更改持久化磁盘和用于 TopoLVM 的原始磁盘。
  • 每个已挂载的磁盘都会格式化为 xfs。
  • disks.datastore 同样适用于系统磁盘。DatastoreCluster 可让 DCS 选择有可用空间的成员数据存储。如果平台提供此选项,建议使用。

每个节点组都会一次替换一个节点(maxSurge: 0);具有 3 个或更多副本的控制平面也一样。

更改持久化磁盘

持久化磁盘和原始磁盘是 DCSIpHostnamePool.spec.pool[].persistentDisk 中的条目,与工作节点对象中的情况相同。slot 用于设置挂载顺序和来宾系统中的设备名称。每个条目必须且只能指定 datastoreName 和 datastoreClusterName 之一。更改现有池中的条目时:

  • 新增的条目会挂载到 DCS 上正在运行的 VM,但只有在 VM 替换后才会格式化并挂载。
  • 不允许删除条目。format、options 和 pciType 均不可更改。
  • Webhook 会拒绝更改现有磁盘的大小(quantityGB)或数据存储。isThin 仅影响之后创建的卷。
  • path 和 mountOptions 会在替换 VM 上生效。

可选拓扑

在创建集群之前,在 install-config.yaml 中设置这些参数。

自建 VIP

使用编写 install-config.yaml中所述的字段设置 cluster.network.loadBalancer.type: internal,并满足自建 VIP 要求。不需要设置 controlPlaneHA。控制平面初始化后,无法更改 type、address、port、vrid 和 interface。

如需检查,请参阅验证自建 VIP。

其他 NIC

节点组可以通过 <group>.network.additions 和 hosts[].additionalIps 在辅助网络(例如存储、管理或隔离网络)上连接 NIC;请参阅编写 install-config.yaml。主机列出的地址数量可以少于 NIC 数量。地址按顺序与 NIC 匹配,因此主机只会获得前几个 NIC,每个地址对应一个 NIC。其 VM 不会连接其他额外的 NIC。

  • 如果未设置 dcs,额外 NIC 会连接到 provider.dcs.network,即与主 NIC 相同的网络。
  • 额外 NIC 不会获得网关,并使用节点的第一个 DNS 服务器。静态路由和路由指标需要通过 MachineConfig 或来宾操作系统配置。
  • 主 hosts[].ip 仍然是 Kubernetes Node IP。
  • 提供商克隆 VM 时会添加这些 NIC。之后更改它们不会将 NIC 热添加到正在运行的 VM。

用于 TopoLVM 的原始磁盘

<group>.disks.rawDisks 会为 TopoLVM 连接未格式化的块设备。原始磁盘会渲染为不带挂载路径或文件系统的持久化磁盘。它们位于 DCSIpHostnamePool 的槽位顺序中标准持久化磁盘之后,使用相同的数据存储以及相同的 isThin 和 pciType。与 /var/cpaas 一样,替换 VM 时会保留这些磁盘,并会在删除集群时一并删除。创建集群后,请勿删除或重新排序条目,因为磁盘的槽位取决于其位置,且删除持久化磁盘会被拒绝。

渲染的清单

ac 会将其应用的对象写入 <install-dir>/manifests/,每个对象一个文件,全部位于 cpaas-system 中。有关其 API 字段,请参阅 Huawei DCS API 参考。

对象名称备注
Secret<cluster-name>-encryption-provider-configDCSCluster 引用的加密配置。
Cluster<cluster-name>标记为 cluster-type: DCS。
DCSCluster<cluster-name>来自凭证 Secret 的站点、控制平面端点、controlPlaneHA 以及凭证和加密 Secret 引用。
KubeadmControlPlane、DCSMachineTemplate、DCSIpHostnamePool<cluster-name>-control-plane
MachineDeployment、DCSMachineTemplate、DCSIpHostnamePool<cluster-name>-<group>
KubeadmConfigTemplate<cluster-name>-<group>-config

凭证 Secret 由你负责管理;ac 不会渲染或删除它。

Worker 对象

hosts、network 以及持久化磁盘和原始磁盘会写入 DCSIpHostnamePool。VM 大小、位置和临时磁盘会写入 DCSMachineTemplate。对于使用默认设置的一个 worker 主机:

apiVersion: infrastructure.cluster.x-k8s.io/v1beta1
kind: DCSIpHostnamePool
metadata:
  name: <cluster-name>-worker
  namespace: cpaas-system
spec:
  pool:
  - hostname: <worker-0-hostname>
    ip: <worker-0-ip>
    mask: "24"
    gateway: <worker-gateway>
    dns: <dns-ip>
    persistentDisk:              # Kept when the VM is replaced
    - path: /var/cpaas
      quantityGB: 100
      slot: 0
      datastoreName: <datastore-name>
      format: xfs
      isThin: false
      pciType: VIRTIO
---
apiVersion: infrastructure.cluster.x-k8s.io/v1beta1
kind: DCSMachineTemplate
metadata:
  name: <cluster-name>-worker
  namespace: cpaas-system
spec:
  template:
    spec:
      vmTemplateName: <vm-template-name>
      ipHostPoolRef:
        name: <cluster-name>-worker
      location:
        type: folder
        name: <folder-name>
      vmConfig:
        dcsMachineCpuSpec:
          quantity: 8
        dcsMachineMemorySpec:
          quantity: 16384        # MiB
        dvSwitchName: <dv-switch-name>
        portGroupName: <port-group-name>
        dcsMachineDiskSpec:      # Recreated with the VM
        - systemVolume: true
          quantity: 0            # 0 keeps the template's system disk size
          datastoreName: <datastore-name>
        - path: /var/lib/containerd
          quantity: 100
          format: xfs
          datastoreName: <datastore-name>
        - path: /var/lib/kubelet
          quantity: 100
          format: xfs
          datastoreName: <datastore-name>

额外 NIC 会在每个池槽位中渲染为 additionNic 条目。