Huawei DCS 业务集群故障排除

从 ac adm alpha cluster status 报告的预检错误或阶段开始。对于所有 provider 共有的故障,请参阅故障排除。在执行 ac config use-cluster global 后,请在已登录平台的 ac 所在机器上运行本页面中的 ac 命令。

症状操作
预检报告未安装 DCS infrastructure provider 或 kubeadm control plane provider安装它们;请参阅 Providers。
预检报告凭证无法登录检查 authKey 是否为纯文本密码,site 是否为不带其他内容的站点 ID;请参阅 DCS Credential Secret。再次运行 create 前,请修正 Secret:反复登录失败会锁定 DCS 帐户。
预检报告缺少模板、文件夹、交换机、端口组或数据存储修正 install-config.yaml 中的名称;对于端口组,请检查其是否属于指定的交换机。
[1/4] CAPI Cluster 保持为 NotFound检查集群名称:ac get clusters.cluster.x-k8s.io -n cpaas-system。
[2/4] KubeadmControlPlane 未变为就绪运行 ac -n cpaas-system describe machine <name> 和 ac -n cpaas-system describe dcsmachine <name>,并检查凭证、模板名称、容量、文件夹和端口组。
DCSMachine 保持在 Provisioning,而 DCS VM 保持在 creating请参阅 VM Stuck in creating。
控制平面未启动对于 external,请检查负载均衡器是否将 6443 转发到控制平面节点;对于 internal,请参阅自行构建 VIP。
ControlPlaneHAReady 不是 True请参阅控制平面 HA。
[3/4] MachineDeployment 显示了错误的节点组检查 computes[].name 以及每个组的 hosts。
[4/4] ClusterView 未变为就绪检查 provider 日志:ac -n cpaas-system logs deployment/cluster-api-provider-dcs-manager --tail=50。
集群达到 Provisioned,但始终未变为 Ready,例如由于未部署 CNI,节点保持在 NotReady请参阅排查卡在 Provisioned 状态的业务集群。
DCSMachine 保持在 Deleting请参阅DCSMachine 卡在 Deleting 状态。
其机器删除后,Cluster 仍保持在 Deleting请参阅排查卡在 Deleting 状态的集群。

自建 VIP

结果操作
type 不是 internal,或地址不是您的 VIP联系技术支持。
没有 alive ModuleInfo,或 alive AppRelease 未同步且不健康联系技术支持。
alive Pod 未就绪,或无法通过 VIP 访问集群检查 DCS 端口组是否允许 VIP 所有权、免费 ARP 和 VRRP 流量,VIP 是否不是节点地址,以及 vrid 在二层域中是否唯一;请参阅自建 VIP。如果均无问题,请联系技术支持。

控制平面 HA

控制平面 HA 检查会打印状态、原因和消息:

结果操作
True ControlPlaneHAReady无。
False ControlPlaneHAPending阅读消息。对于放置,请检查 DCS 主机容量、DRS 状态,以及是否有任何因素阻止迁移,例如已连接的 CD-ROM;provider 不会运行 DRS,因此如果放置未收敛,请在 DCS 端运行 DRS。要查找 DCS 上的 VM,请列出成员:ac -n cpaas-system get dcscluster <cluster-name> -o jsonpath='{range .status.controlPlaneHA.members[*]}{.machineName}{" "}{.vmUrn}{"\n"}{end}'。
False ControlPlaneHAFailed阅读消息,然后检查 DCS 凭证、DRS 设置以及 DCS 上的规则名称冲突。如果这些配置均正确,请联系技术支持。

VM 卡在 creating

DCSMachine 停留在 Provisioning,并设置了 status.cdRomFile,这表示登录和 ISO 上传已成功,而 DCS VM 停留在 creating,没有主机,且其部署任务没有进展。DCS 调度器无法放置该 VM。

  1. 在 DCS 门户中,检查节点组使用的数据存储的可用空间以及主机的负载。数据存储几乎已满,或所有主机都严重超额分配,都会阻止放置;请参阅DCS 对象、容量和地址。
  2. 请求 DCS 平台团队释放空间或重新平衡主机。DCS 调度器(而不是 provider)会为每个 VM 选择主机。
  3. 如果部署任务对取消操作或 provider 发起的 VM 删除没有响应,DCS 管理员会在门户中取消该任务。在 DCS 串行执行 VM 部署的情况下,一个卡住的任务会阻塞后续的所有任务,因此请先清除第一个任务。

DCSMachine 卡在 Deleting

如果 DCSMachine 一直处于 Deleting,并阻碍缩容、滚动升级或集群删除,请使用本节。删除 VM 前,provider 会停止 VM 并分离其持久磁盘,DCS 必须完成每个步骤。

读取 DCSMachine 的 VMStopPending condition:

ac config use-cluster global
ac -n cpaas-system describe dcsmachine <name>
结果操作
VMStopPending,原因是 WaitingForStop等待。如果 VM 一直处于 stopping,请参阅 VM 卡在 stopping。
VMStopPending,原因是 VMMidTransition阅读消息中的 VM 状态;请参阅 VM 卡在转换中。
没有 VMStopPending condition,且 VM 仍列在 DCS 门户中请参阅控制器无法访问 DCS API。
没有 VMStopPending condition,且 VM 已从 DCS 中消失停止操作已完成;删除操作受其他因素阻塞,例如 Cluster API drain。请参阅 Cluster API 故障排除文档,或联系技术支持。

VM 卡在 stopping

provider 已发出安全停止命令,但 VM 未达到 stopped。在 DCS 门户中打开 VM 详情页:

结果操作
pvDriverStatus 不是 running,或客户机 OS 已挂起在 DCS 门户中通过 Force 停止 VM(VM 详情 → Operations → Stop → Force)。随后 provider 会继续执行删除操作。
VM 克隆自早于 4.2.1 的模板,该模板中的客户机工具无法执行安全停止。从 DCSMachine 的 vmTemplateName 中获取模板名称;VM 模板 ConfigMap 中 cpaas.io/dcs-vm-template 标签与该名称相同的对象,其 cpaas.io/distribution-version 标签会显示模板版本联系技术支持。

VM 卡在转换中

provider 会等待 VM 变为 running 或 stopped:

消息中的状态操作
migrating等待;迁移结束后会继续执行删除操作。
starting等待,直到状态变为 running;随后会继续执行删除操作。
paused 或 hibernated在 DCS 门户中恢复 VM(Operations → Resume)。如果无法恢复,请联系技术支持。

控制器无法访问 DCS API

读取 provider 日志:

ac config use-cluster global
ac -n cpaas-system logs deployment/cluster-api-provider-dcs-manager --tail=50
结果操作
connection refused 或 timeout检查 global 集群节点到 DCS 的网络路径;请参阅网络连接。
errorCode: 10100116DCS 账户已锁定;请参阅 DCS 账户锁定。
401 Unauthorized按照 DCS Credential Secret 中的说明更新凭证 Secret。

DCS 账户锁定

errorCode: 10100116 表示 DCS 已锁定凭证 Secret 所用的账户。

  1. 如果密码已更改,请按照 DCS Credential Secret 中的说明更新凭证 Secret:密码错误期间,provider 的登录尝试会使账户持续处于锁定状态。
  2. 联系技术支持以解除账户锁定。

请勿在凭证 Secret 中使用 DCS 门户的 admin 账户,否则账户锁定会导致所有人都无法登录。请使用专用账户,如 DCS Credential Secret 中所述。

FC Site Policy:errorCode 102212808

在 FusionCompute 平台仅删除已停止 VM 的 DCS 站点上,provider 日志可能会显示 DeleteVm rejected by FC site policy 和 errorCode=102212808。provider 会再次停止 VM 并自行重试。

结果操作
错误仅出现一次,随后 Machine 被删除无需操作。
错误重复出现某些因素正在 DCS 上重新启动 VM,例如 operator 或其他自动化流程。请停止 VM。如果错误仍然重复出现,请联系技术支持。

验证恢复情况

ac config use-cluster global
ac -n cpaas-system get machines.cluster.x-k8s.io -l cluster.x-k8s.io/cluster-name=<cluster-name>

当 Machine 不再列出且 VM 已从 DCS 门户中消失时,即可继续;否则请联系技术支持。