Huawei DCS 业务集群的前置条件

在创建集群之前,请满足以下条件。

Providers

在 global 集群上安装以下集群插件:

  • Alauda Container Platform Cluster Bootstrap Provider
  • Alauda Container Platform Infrastructure Provider for Huawei DCS

在 Huawei DCS 上安装了 ac 的 global 集群已运行这两个插件。否则,请从 ACP Common Aligned Extensions 下载这些插件(请参见下载),使用 violet push 上传(请参见上架软件包),然后按照集群插件中的说明安装。在 Global Cluster 灾备对中,请在两个 global 集群上都安装这些插件。

VM 模板和 Kubernetes 版本

在 DCS 上,根据为安装在 global 集群上的 ACP 版本发布的 Alauda OS 镜像创建 VM 模板。使用未经修改的镜像;请参见下载 Alauda OS。请注意模板运行的 Alauda OS 变体:M55、KO 或 KU。KO 或 KU 模板需要 provider.dcs.osType: alaudaos-k。

VM 模板 ConfigMap

创建 VM 模板时,在 global 集群上使用 ConfigMap 注册每个模板。每个 VM 模板创建一个 ConfigMap。它记录:

  • VM 模板名称
  • 创建该 VM 模板所用的 Alauda OS 镜像所属的 ACP 版本
  • 该 ACP 版本的 Kubernetes 版本和 etcd 标签

创建集群时,ac 会从模板的 ConfigMap 中读取 kubernetesVersion 和 etcdTag。平台升级会使用这些 ConfigMap 查找每个 Kubernetes 版本对应的 VM 模板;节点组所运行模板的 ConfigMap 则会告知升级程序该节点组的架构。请参见准备 Alauda OS 镜像。cpaas.io/dcs-vm-template 标签值必须与 DCS 上的 VM 模板名称匹配。

在生成器中,选择要注册其 VM 模板的所有架构。每个生成的 ConfigMap 都会记录其架构。先运行 ac config use-cluster global,然后运行生成器输出的命令。

Architectures
v4.5.0 · Kubernetes v1.36.4-acp.3
ac apply -f - <<'EOF'
apiVersion: v1
kind: ConfigMap
metadata:
  name: dcs-vm-template-m55-x86-64-v4.5.0
  namespace: cpaas-system
  labels:
    cpaas.io/dcs-vm-template: "<vm-template-name-for-x86_64>"
    cpaas.io/distribution-version: "v4.5.0"
data:
  kubernetesVersion: "v1.36.4-acp.3"
  etcdTag: "v3.6.13-acp.5"
  architecture: "x86_64"
EOF

Run the command on the global cluster. In a DR environment, run it on both global clusters: the ConfigMaps are not synchronized between them.

For each ACP version, register VM templates of only one OS per architecture on a global cluster. When VM templates of different OSes have the same Kubernetes version and architecture, an upgrade can move a cluster to the other OS.

ConfigMaps created from earlier versions of this document have no architecture key and no architecture in their name. Once the ConfigMaps of an ACP version exist for each architecture that you use, you can delete the earlier ConfigMaps of that version when no upgrade is in progress.

对于每个 Kubernetes 版本,请注册集群所使用的每种架构对应的 VM 模板。在混合使用 x86_64 和 aarch64 节点池的集群中,每个 VM 模板 ConfigMap 都必须设置 architecture。

检查模板的 ConfigMap 是否存在。在 ac 已登录平台的机器上运行以下命令:

ac config use-cluster global
ac -n cpaas-system get cm -l cpaas.io/dcs-vm-template -L cpaas.io/dcs-vm-template

如果没有 ConfigMap 列出你的 VM 模板名称,请创建该模板的 ConfigMap。

无需设置 Kubernetes 或 etcd 版本。如果模板的 ConfigMap 存在,ac 会安装其中记录的版本。如果不存在,ac 会安装平台的默认 Kubernetes 版本,也就是使用当前 ACP 版本镜像创建的模板所携带的版本。不包含 kubernetesVersion 或 etcdTag 的模板 ConfigMap 会被拒绝。应用模板 ConfigMap 时,ac 会输出一行 Pinning Kubernetes <version>, etcd <tag>。请勿依赖该行,而应从 manifests/ 中 KubeadmControlPlane 的 spec.version 读取版本。

网络连接

允许来自 global 集群节点以及运行 ac 的机器的流量访问 DCS。流量列表请参见 Huawei DCS。global 集群节点需要这些路径来创建集群并在之后管理集群。

控制平面端点和镜像仓库

控制平面端点是一个 IPv4 地址,可以是以下任一项:

集群从 global 集群的仓库或专用仓库中拉取其平台组件。请参见为业务集群选择镜像仓库。

DCS 凭证 Secret

global 集群的 cpaas-system 中必须有一个 Secret,用于保存 DCS 登录信息。请注意 Secret 的使用方式:

  • 集群按名称引用 Secret。与 global 集群不同,它不会保存内联凭证。
  • ac 从不创建或删除 Secret。
  • 一个 Secret 可以供多个集群使用。

该账户必须具有 administrator 角色,并且必须属于以下用户类型之一:

userTypeDCS 用户DCS 侧要求
interconnect(默认)接口互通用户重置密码和首次登录时是否修改接口互通用户的密码(系统管理 → 权限管理 → 权限管理策略)策略必须设置为 否。否则,强制修改密码会导致登录失败。
domain域用户,由 LDAP 或 AD 提供支持DCS 管理员已配置域认证,并在 DCS 门户中创建目录用户。目录服务负责管理其密码。

请使用专用账户,而不要使用门户的 admin 账户。DCS 在多次登录失败后会锁定账户,而锁定门户账户也会导致其他所有用户无法登录。

使用编辑器将值写入文件,而不要在命令行中输入,这样密码就不会留在 shell 历史记录中:

dcs-credential.env
authUser=<auth-user>
authKey=<auth-key>
endpoint=https://<dcs-api-host>:7443
site=<dcs-site-id>
userType=interconnect
密钥值
authUserDCS API 用户名。
authKey明文密码,而不是 DCS 控制台显示的 SHA-256 摘要。
endpointAPI 地址,包含 https:// 和端口(通常为 7443),且不带末尾斜杠。
site纯站点 ID,而不是 urn:sites: 形式。
userType可选。interconnect 或 domain,不区分大小写。不接受其他值。

每行都写成 key=value,不要加引号,因为 ac 会将引号字符作为值的一部分保留。请将文件设为私有(chmod 600 dcs-credential.env),因为其中包含密码。创建 Secret,然后删除该文件:

chmod 600 dcs-credential.env
ac config use-cluster global
ac create secret generic <credential-secret-name> -n cpaas-system --from-env-file=dcs-credential.env
rm -f dcs-credential.env

不要使用 ac apply 创建或更新 Secret,因为它会将密码存储在 Secret 的 kubectl.kubernetes.io/last-applied-configuration 注释中。之后若要更改某个值,请将新值放在文件中的 stringData 下,然后运行 ac patch secret <credential-secret-name> -n cpaas-system --type=merge --patch-file=<file>。

DCS 对象、容量和地址

  • 站点上已存在以下对象:VM 文件夹、分布式虚拟交换机和端口组,以及数据存储或数据存储集群。ac 不会创建这些对象。
  • 数据存储和主机有足够空间容纳计划中的 VM。每个节点都需要其系统磁盘以及所属节点组的所有磁盘。如果数据存储几乎已满,或者所有主机都严重超额分配,新 VM 会卡在 creating 状态。
  • 控制平面分散功能通过 DRS 规则将控制平面 VM 分布到不同的 DCS 主机上。若要使用此功能,请确保:
    • 运行控制平面 VM 的计算集群已启用 DRS。
    • 健康主机的数量不少于控制平面副本数。
    • 所有这些主机都能访问同一个数据存储。
    • 没有任何因素会阻止 DRS 迁移,例如已连接的 CD-ROM。
  • 每个节点都有一个静态 IPv4 地址和主机名,且两者均未被占用,也不等于控制平面端点。ac 和提供程序都不会在 DCS 上预留地址。

节点标签和污点

若要将节点池专用于监控、日志记录或 Ingress 等用途,请按照 基础设施节点 中的说明规划其角色标签和污点。install-config.yaml 不会设置这些内容。