裸金属业务集群故障排查

从 ac adm alpha cluster status 报告的阶段开始。然后在 BaremetalMachine、MachineInventory 或 BaremetalCluster 上查找匹配的 condition。这些对象位于 global 集群中;读取它们之前,请先运行 ac config use-cluster global。对于所有 provider 都可能遇到的故障,请参阅故障排查。

创建阶段

症状首先检查的位置
[1/4] CAPI Cluster 保持为 NotFound使用 ac -n cpaas-system get clusters.cluster.x-k8s.io 检查集群名称和命名空间。
[2/4] KubeadmControlPlane 没有推进ac -n cpaas-system describe machine <name> 和 BaremetalMachine。查找 ImageCatalogMiss,或查找没有 Available inventory 的 pool。请参阅Provider Conditions。
控制平面未启动检查 endpoint 是否正常工作。对于 external,确认负载均衡器将 6443 转发到控制平面节点。对于 internal,请参阅Provider Conditions 中的 Internal 行。
[3/4] MachineDeployment 显示了错误的节点组computes[].name,以及两个组是否共用一个 pool。
[4/4] ClusterView 没有推进平台 ClusterView 和 provider manager 日志。
elemental-operator 未启动:MountVolume.SetUp failed for volume "elemental-ca-cert": references non-existent secret key: ca.crtelemental.tls.caCertSecretKey;请参阅Providers。

Provider Conditions

症状可能原因检查位置
BaremetalMachine 卡在 Pending、InventoryAllocated=False / Reason=PoolMissing模板的 machineInventoryPoolRef.name 指向一个不存在的池,例如该池在 create 后被删除。池名称和命名空间。
BaremetalMachine 卡在 Pending、InventoryAllocated=False / Reason=PoolExhausted池中已没有 Available 清单。MachineInventoryPool.status.available,以及每个成员上的分配注解。
BaremetalMachine 在分配后卡住,BootstrapReady=False / Reason=BootstrapWaitingKubeadmConfig 尚未生成引导数据 Secret。Machine.spec.bootstrap.dataSecretName。
BaremetalMachine 在 Allocated、ImageResolved=False / Reason=ImageCatalogMiss 中等待elemental-image-catalog 没有适用于主机架构和 OS 的 Machine.spec.version 密钥。ac -n cpaas-system get cm elemental-image-catalog -o yaml。按照添加 Image Catalog 密钥中的说明添加密钥。随后,BaremetalMachine 会自行继续。
BaremetalMachine 在 Allocated、ImageResolved=False / Reason=RegistryConfigPending 中等待集群的 registry 配置尚未就绪。平台会随集群创建该配置。如果原因在几分钟内没有变化,请联系技术支持。
BaremetalMachine 在 Allocated、ImageResolved=False / Reason=ImagePullUnauthorized 中等待集群的 registry 拒绝了其 registry 账户。如果用户名或密码错误,请联系技术支持。否则,请允许该账户拉取 OS 镜像;参见 Image Registry。随后,BaremetalMachine 会自行继续。
BaremetalMachine 在 Allocated、ImageResolved=False / Reason=ImageNotFound 中等待集群的 registry 中没有 OS 镜像。按照推送 OS 镜像中的说明推送镜像。随后,BaremetalMachine 会自行继续。
BaremetalMachine 在 Allocated、ImageResolved=False / Reason=RegistryUnavailable 中等待global 集群无法访问集群的 registry。消息中会给出错误信息。从 global 集群到 registry 的网络连接,以及 registry 是否通过 HTTPS 响应。registry 响应后,BaremetalMachine 会继续。
BaremetalMachine 在 Allocated、ImageResolved=False / Reason=ImageRegistryMissing 中等待provider 找不到集群的 registry 地址。联系技术支持。
BaremetalMachine 为 Failed、Ready=False / Reason=OSFamilyUnknownMachineInventory 的 os.baremetal.alauda.io/id 标签不是 alaudaos.m.<version> 或 alaudaos.k.<version> 形式,因此不会写入 plan。MachineInventory 上的标签,以及 MachineRegistration 的 machineInventoryLabels 中的标签;参见创建 Registration 和 ISO。然后联系技术支持。
主机未注册或未安装:没有出现 MachineInventory,停留在 status.install.phase=AwaitingTarget,或在 status.install.staleSystemDisks 中列出磁盘并带有 action: Blocked主机无法访问 global 集群,正在等待你选择其系统磁盘,或者其某个磁盘包含早期安装留下的系统分区,无法安全擦除。Register Hosts 中的故障排除。
清单已注册,但未计为 Available清单没有 plan Secret,或者不是 Ready。MachineInventory.status.conditions 和 status.plan.secretRef。
池报告 MembersValid=False池中列出的清单不存在,或属于另一个池。MembersValid 消息,其中会列出清单名称。
MachineInventory 为 Ready=False / Reason=IdentityConflict已安装的主机使用此清单的身份注册,但硬件不同,例如主机从另一台主机的系统磁盘副本启动。在解决冲突之前,不会将该清单分配给新机器,也无法为其选择系统磁盘。elemental.cattle.io/identity-conflict 注解会列出注册主机的系统 UUID 和地址。如果带有 elemental.cattle.io/auth: emulated-tpm 的主机更换了主板,请参见下一行。否则,确定由哪台主机保留该清单。关闭另一台主机,或从 ISO 重新安装,使其使用自己的身份注册。如果保留清单的主机不是注解中列出的主机,请删除 elemental.cattle.io/identity-conflict 注解。否则,使用该主机的 elemental.cattle.io/allow-identity-rebind=<system-uuid> 为清单添加注解,然后重启该主机;它注册时会删除这两个注解。
某台主机的主板被更换,该主机的 MachineInventory 带有 elemental.cattle.io/auth: emulated-tpm 注解,且清单为 Ready=False / Reason=IdentityConflict其硬件已不再匹配 MachineInventory。使用 elemental.cattle.io/allow-identity-rebind=true 为 MachineInventory 添加注解,然后重启主机。使用该注解后会将其删除。
某台主机的 TPM 或主板被更换,该主机的 MachineInventory 带有 elemental.cattle.io/auth: tpm 注解已安装的系统无法再使用其 MachineInventory 注册。联系技术支持。
主机的重新置备始终未完成,并且出现 MachineInventory.status.plan.state=Failed写入 OS 镜像失败:registry 无法访问、TLS 失败或磁盘已满。主机上的 BaremetalMachine.status.conditions、journalctl -u elemental-system-agent,以及主机的串行控制台。在 Alauda OS KU 主机上,plan Secret 的 failed-output 密钥还包含磁盘空间检查的输出。在删除 Machine 之前读取这些信息;参见替换单个故障节点。
BaremetalCluster 使用 Internal,但无法通过 VIP 访问集群(healthz 未打印 ok),或控制平面节点上没有运行 Alive Pod另一个集群已使用相同的 vrid,VIP 不在控制平面 Layer 2 域中,或者 VRRP 或 gratuitous ARP 被阻止。业务集群 kube-system 中的 Alive Pod,以及控制平面主机上的 ip addr show。
BaremetalCluster 使用 External,但无法访问 endpointlistener、后端成员关系、TLS 透传、健康检查、路由、DNS 或证书 SAN 配置错误。负载均衡器配置,以及每个后端上的 HTTPS /healthz。