在裸金属上创建集群

ACP CLI(ac)根据一个 install-config.yaml 渲染集群对象,并将其应用到 global 集群。然后,Bare Metal provider 从池中的主机构建集群。首先,为每个节点组将可用主机收集到一个 MachineInventoryPool 中,因为 ac 不会注册主机或创建池。所有对象都位于 global 集群的 cpaas-system 命名空间中。

前提条件

  • 满足 Bare Metal 前提条件。
  • 有足够数量的、运行集群 OS 的可用主机:每个节点对应一台主机,即 controlPlane.replicas 加上 computes 中每个节点组的 replicas。
  • 镜像目录中有 global 集群 Kubernetes 版本对应的密钥,且适用于这些主机的架构和 OS;请参阅添加镜像目录密钥。
  • ac 已作为平台管理员(ac login https://<platform-address> --name <session-name>)登录平台。
  • 已选择集群名称。该名称不能是 global,也不能以 global- 开头。将其用作池名称的前缀。
占位符值
<cluster-name>业务集群名称,之后为 cluster.clusterName。

操作步骤

1. 创建池

使用该页面上的命令列出可用主机,并从中选择每个节点组的主机。一个集群中的所有主机运行相同的 OS。Alauda OS M55 主机为 amd64。Alauda OS KU 集群可以混用 amd64 和 arm64 主机,即使它们位于同一个池中。

为控制平面创建一个池,并为每个工作节点组创建一个池。两个节点组不能共享一个池,并且一个 MachineInventory 不能出现在两个活动池中。

machineinventorypools.yaml
apiVersion: infrastructure.cluster.x-k8s.io/v1beta1
kind: MachineInventoryPool
metadata:
  name: <cluster-name>-control-plane-pool
  namespace: cpaas-system
spec:
  clusterName: <cluster-name>
  machineInventories:
    - name: <control-plane-inventory-1>
      hostname: <control-plane-host-1>
    - name: <control-plane-inventory-2>
    - name: <control-plane-inventory-3>
---
apiVersion: infrastructure.cluster.x-k8s.io/v1beta1
kind: MachineInventoryPool
metadata:
  name: <cluster-name>-worker-pool
  namespace: cpaas-system
spec:
  clusterName: <cluster-name>
  machineInventories:
    - name: <worker-inventory-1>
    - name: <worker-inventory-2>
    - name: <worker-inventory-3>
  1. clusterName:此池服务的业务集群。
  2. name:准确的 MachineInventory 名称。
  3. hostname:可选。每次重新安装主机时,主机都会获得此名称。默认为清单名称。
ac config use-cluster global
ac apply -f machineinventorypools.yaml
ac -n cpaas-system get machineinventorypools.infrastructure.cluster.x-k8s.io \
  -o custom-columns='NAME:.metadata.name,READY:.status.conditions[?(@.type=="Ready")].status,TOTAL:.status.total,AVAILABLE:.status.available'

当每个池显示 READY True,且其 TOTAL 等于其中列出的清单数量时继续。否则,读取池的 MembersValid 条件,并参阅提供商条件。

为每个池至少分配与其节点组 replicas 数量相同的主机,因为升级时会从同一个池中取出主机替换每个节点。

池容量

ac config use-cluster global
ac -n cpaas-system get machineinventorypools.infrastructure.cluster.x-k8s.io <cluster-name>-worker-pool

status.available 必须至少等于目标副本数。若要增加容量,请按照注册主机中的说明注册更多主机,并将可用主机的名称添加到 spec.machineInventories。

2. 编写 install-config.yaml

为集群创建安装目录,并在其中写入 install-config.yaml。ac 会将 manifests/ 和 logs/ac.log 写入同一目录。

复制以下模板并填写占位符。编号行是 Bare Metal 特有的内容,模板下方的表格对其进行了说明。其他字段请参阅通用 install-config.yaml 字段。有关 ac 根据此文件渲染的对象,请参阅渲染的清单。

install-config.yaml
cluster:
  clusterName: <cluster-name>
  sshKeys:
    - <ssh-public-key>
  # registrySecretRef:
  #   name: <registry-secret-name>
  #   namespace: cpaas-system
  # encryptionProviderConfig: <encryption-key>
  ntpServers: []
  network:
    podCIDR: 10.199.0.0/16
    serviceCIDR: 10.96.0.0/12
    kubeOVN:
      joinCIDR: 100.64.0.0/16
    loadBalancer:
      type: internal
      address: <control-plane-endpoint>
      port: 6443
      vrid: <vrid>

controlPlane:
  replicas: 3
  baremetal:
    machineInventoryPool: <cluster-name>-control-plane-pool

computes:
  - name: worker
    replicas: 3
    baremetal:
      machineInventoryPool: <cluster-name>-worker-pool
#字段描述
cluster.network必需 · object集群网络。
1cluster.network.loadBalancer必需 · object控制平面端点。type:端点类型。默认值 internal 是自建 VIP,provider 在控制平面节点上承载节点地址的 NIC 上运行该 VIP。external 是您自己的负载均衡器;在运行 create 之前,该负载均衡器必须准备就绪,并且必须转发业务集群 VIP 和节点中列出的端口。address:VIP 或负载均衡器的前端地址。它必须是一个 IPv4 地址,不能是节点地址,并且必须位于 Pod、Service 和加入 CIDR 范围之外。对于 internal,请使用控制平面二层域中未使用的地址;请参阅网络连接。port:默认为 6443。vrid:与 internal 一起使用时必需。控制平面二层域中唯一的 VRRP 路由器 ID,范围为 1 到 255。使用 external 删除该 ID。不支持 interface 和 vipMode。
controlPlane必需 · object控制平面节点组。
2controlPlane.baremetal.machineInventoryPool必需 · string此节点组从中获取主机的 MachineInventoryPool,该池是在创建池中创建的。两个节点组不能共享一个池。
computes[]可选 · []object · 默认值:[]工作节点组,每个组对应一个条目。
3computes[].baremetal.machineInventoryPool必需 · string此工作组的 MachineInventoryPool。每个节点组都有自己的池。

在 Bare Metal 上,节点组只接受 replicas 和 baremetal.machineInventoryPool,因为主机会决定每个节点的大小、网络和磁盘。如果在节点组中设置 cpuCore、memoryGiB、network、disks 或 hosts,或者设置 provider.baremetal 或 credentialRef,则会收到一条指出该字段的错误。

无需设置 Kubernetes 版本。集群将获取 global 集群的版本。

3. 创建集群

在 ac 已登录平台的机器上运行以下命令:

ac config use-cluster global
ac adm alpha cluster create --dir <install-dir> --provider baremetal

ac 首先检查 global 集群上的 provider CRD、池及其大小,以及注册表。如果检查失败,则不会进行任何更改,并且错误会指出失败的项目。确保每个池都有足够的 Available 清单;请参阅池容量。

create 会在对象应用完成后立即返回,之后集群会继续构建。若要等待所有阶段就绪,请添加 --wait。--timeout(默认值为 2h)仅限制等待时间。若要在不应用对象的情况下渲染对象,请使用相同的标志运行 ac adm alpha cluster manifests。

4. 监控创建过程

ac config use-cluster global
ac adm alpha cluster status --cluster <cluster-name>                      # prints the four stages once
ac adm alpha cluster wait-for install-complete --cluster <cluster-name>   # waits until all four are ready

当全部四个阶段都就绪时继续;否则请参阅故障排除。

5. 验证集群

在 ac 已登录平台的机器上运行以下命令:

ac config sync
ac config use-cluster <cluster-name>
ac get nodes
ac config use-cluster global

当每个节点都为 Ready 时继续;否则请参阅故障排除。

主机和池

ac config use-cluster global
ac -n cpaas-system get baremetalmachines.infrastructure.cluster.x-k8s.io
ac -n cpaas-system get machineinventorypools.infrastructure.cluster.x-k8s.io \
  -o custom-columns='NAME:.metadata.name,READY:.status.conditions[?(@.type=="Ready")].status,TOTAL:.status.total,AVAILABLE:.status.available'

当每个 BaremetalMachine 报告 Running,且每个池显示 READY True 时继续;否则请参阅提供商条件。

自建 VIP

适用于:type: internal。如果使用外部负载均衡器,请跳过此步骤。

ac config sync
ac config use-cluster <cluster-name>
ac -n kube-system get pods -l app=alive -o wide
ac config use-cluster global

当每个控制平面节点上都有一个 Alive Pod 为 Running 时继续;否则请参阅提供商条件。

以 boot 用户(ssh boot@<control-plane-node-ip>)身份登录集群的控制平面节点。使用与 cluster.sshKeys 中 SSH 公钥匹配的私钥。使用 sudo 运行 curl,因为只有 root 才能读取集群 CA 文件:

sudo curl --cacert /etc/kubernetes/pki/ca.crt https://<vip>:6443/healthz

当其输出 ok 时继续;否则请参阅提供商条件。

外部负载均衡器

适用于:type: external。如果使用自建 VIP,请跳过此步骤。

在负载均衡器上,根据外部负载均衡器要求检查前端和每个后端。当每个当前控制平面节点都已注册为后端,并且 HTTPS /healthz 在每个后端上返回 HTTP 200 时继续。否则,修复负载均衡器配置。

再次运行 create

create 仅用于创建集群。请勿在已存在的集群上运行它。要更改正在运行的集群,请参阅管理节点。

如果 create 在集群创建完成前停止,请再次运行相同的命令。它会跳过已完成的操作。在同一目录中再次运行 create 时:

  • 它会重新创建已删除的对象。Secrets 除外:ac 只会创建一次,之后保持其原样。
  • 它不会覆盖其他工具更改的字段。当渲染值不同时,create 会报告这些字段归其他管理器所有,然后停止。请勿删除错误中指明的对象。
  • 当 manifests/ 已存在时,create 会询问是否重复使用它。按 Enter 键重复使用,或在更改 install-config.yaml 后回答 n 以重新渲染。当标准输入不是终端时,请传递 --reuse-manifests=true 或 --reuse-manifests=false。重复使用 manifests/ 会忽略 install-config.yaml 并跳过所有检查。

请勿编辑 manifests/ 中的文件。

WARNING

请保留 <install-dir>/manifests/,或设置 cluster.encryptionProviderConfig。生成的加密密钥仅存储在 manifests/ 中。如果在未提供这两者的情况下重新渲染,则会生成新的密钥,并且 manifests/ 不再记录集群使用的密钥。

后续步骤