#节点预处理

在安装 global 集群之前，所有节点（控制平面节点和工作节点）都必须完成预处理。

#支持的 OS 和 Kernel 版本

下表列出了支持的操作系统、经过验证的版本，以及对应的已测试 Kernel 版本。

平台对官方支持实施严格的版本匹配策略：

• OS 版本 (x.y.z)：补丁版本（z）可以不同，但主版本和次版本（x 和 y）必须与已验证版本严格一致。不支持修改 x 或 y。
• Kernel 版本 (x.y.z-build)：构建后缀（build）可以不同，但核心 Kernel 版本（x.y.z）必须与已测试版本严格一致。不支持修改 x.y.z。当列表中某个操作系统版本未指定 Kernel 值时，请使用该版本随系统官方发布的 Kernel。

#x86

#ARM

#执行快速配置脚本

bash init.sh

#节点检查

下面列出了节点上必须完成的所有检查。根据节点的角色，不同节点所需的检查项会有所不同。例如，某些检查仅适用于控制平面节点。

检查分为两类：

• ✅ 表示该检查必须通过。
• ⚠️ 表示该检查仅在特定场景下必须满足。请根据说明判断对应条件是否满足；如果满足，则必须将其解决。

以下是检查项列表：

• OS 和 Kernel

  • ✅ 机器的 grub 启动配置必须包含 transparent_hugepage=never 参数。
  • ✅ CentOS 7.x 系统机器的 grub 启动配置必须包含 cgroup.memory=nokmem 参数。
  • ✅ 检查 Kernel 模块 ip_vs、ip_vs_rr、ip_vs_wrr 和 ip_vs_sh 是否已启用。
  • ⚠️ 当 Kernel 版本低于 4.19.0（或 RHEL 低于 4.18.0）时，检查 Kernel 模块 nf_conntrack_ipv4 以及（对于 IPv6）nf_conntrack_ipv6 是否已启用。
  • ⚠️ 如果 global 集群计划使用 Kube-OVN CNI，则必须启用 Kernel 模块 geneve 和 openvswitch。
  • ✅ 必须禁用 SELinux 和 AppArmor。运行传统操作系统的节点上不能保持它们处于启用状态；请参见为什么必须禁用 SELinux 和 AppArmor。
  • ✅ 必须禁用主机防火墙，除非您的安全策略要求其保持启用。若必须启用，则在安装平台之前，节点必须按照强化节点安全配置中的说明进行配置。
    • init.sh 会禁用主机防火墙。若要保持其启用状态，请向 init.sh 传入匹配的 --skip- 参数，而不是在之后再将其重新打开。
    • 保持主机防火墙启用属于非默认配置。平台不会管理传统操作系统，因此启用主机防火墙可能会导致节点或集群出现意外故障。在此配置下，您需要自行负责节点的运维和故障排查。
    • 当主机防火墙启用时，您需要在每个节点上配置并维护端口规则。平台所需端口请参见通信矩阵。
  • ✅ 禁用 swap。

• 用户和权限

  • ✅ 节点的 SSH 用户必须具备 root 权限，并且可以免密码使用 sudo。
  • ✅ /etc/ssh/sshd_config 中的 UseDNS 参数必须设置为 no。
  • ✅ 在添加节点之前，将 /etc/ssh/sshd_config 中的 UsePAM 参数设置为 no，然后重启 sshd。否则，PAM 会话策略（例如强制修改密码、pam_access、faillock 或 pam_limits）可能会阻止基于 SSH 的节点加入流程。节点进入 Ready 状态后，您可以恢复为 UsePAM yes。在启用 SELinux 强制模式且使用密码认证的系统上，UsePAM no 本身也可能导致 SSH 登录失败；在这种情况下请使用基于密钥的认证。
  • ✅ systemctl show --property=DefaultTasksMax 必须返回 infinity；如果限制过低（例如 RHEL 7 / CentOS 7 的默认值 512），繁忙的容器将无法创建线程。如果不是 infinity，请在 /etc/systemd/system.conf 中设置 DefaultTasksMax=infinity，并执行 systemctl daemon-reexec。

• 节点网络

  • ✅ hostname 必须符合以下规则：
    • 不超过 36 个字符。
    • 以字母或数字开头并结尾。
    • 仅包含小写字母、数字、- 和 .，且不能包含 .-、.. 或 -.。
  • ✅ /etc/hosts 中的 localhost 必须解析为 127.0.0.1。
  • ✅ /etc/resolv.conf 文件必须存在且包含 nameserver 配置，但不能包含以 172 开头的地址（禁用 systemd-resolved）。
  • ⚠️ /etc/resolv.conf 文件中不应配置 search 域（如果必须配置，请参见配置 Search 域）。
  • ✅ 机器的 IP 地址不能是 loopback、multicast、link-local、全 0 或 broadcast 地址。
  • ✅ 执行 ip route 必须返回默认路由或指向 0.0.0.0 的路由。
  • ✅ 节点不得占用以下端口：
    • 控制平面节点： 2379、2380、6443、10249 ~ 10256
    • 安装程序所在节点： 8080、12080、12443、16443、2379、2380、6443、10249 ~ 10256
    • 工作节点： 10249 ~ 10256
  • ✅ 如果集群使用 Kube-OVN 或 Calico，请确保以下端口未被占用：
    • Kube-OVN： 6641、6642
    • Calico： 179
  • ⚠️ 请确保 nerdctl 所需的网络段 172.17.x.x ~ 172.18.x.x 中的 IP 地址未被占用。如果该网络段中的 IP 已被占用且无法更改，请联系技术支持。

• 软件和目录要求：

  • ✅ 必须已安装以下软件：ip、ss、tar、swapoff、modprobe、sysctl、md5sum，以及 scp 或 sftp。
  • ⚠️ 如果您计划使用本地存储 TopoLVM 或 Rook，则需要安装 lvm2。
  • ✅ /etc/systemd/system/kubelet.service 文件不得存在。
  • ✅ /tmp 挂载参数中不得包含 noexec。
  • ✅ 删除与 global 集群组件冲突的软件包（请参见删除冲突软件包）。
  • ✅ 如果以下文件存在，则必须将其删除：
    • /var/lib/docker
    • /var/lib/nerdctl
    • /opt/nerdctl/
    • /var/lib/containerd
    • /var/log/pods
    • /var/lib/kubelet/pki

• 跨节点检查

  • ✅ global 集群中的节点之间不得存在网络防火墙限制。
  • ✅ 集群中每个节点的 hostname 必须唯一。
  • ✅ 所有节点的时区必须统一，且时间同步误差必须 ≤ 10 秒。

#附录

#为什么必须禁用 SELinux 和 AppArmor

在运行传统操作系统的节点上，必须禁用 SELinux 和 AppArmor。这是本版本的平台要求，不是加固建议。init.sh 会同时禁用这两个功能，节点加入流程在节点加入集群时也会再次将其禁用。

SELinux。 平台组件会将主机路径挂载到容器中。镜像仓库安装程序会将主机的 /proc/mounts 文件以 bind-mount 方式挂载到其容器中，而镜像仓库和对象存储组件则将其数据保存在 /cpaas 和 /etc/kubernetes 等主机目录下，这些目录带有操作系统的默认文件标签。在传统操作系统上，容器运行时的配置不包含 SELinux labeling，因此这些挂载会按照主机策略进行评估，并在 SELinux 以 enforcing 模式运行时被拒绝。随后容器运行时会在进程启动前创建容器失败，镜像仓库组件也无法完成安装，平台安装或升级将因此停止。

permissive 模式并不是替代方案：它只会改变日志记录方式，而不会改变该要求。安装后如果节点又切回 enforcing，则已超出受支持配置范围。

AppArmor。 节点预处理会禁用 AppArmor，且平台未验证在集群节点上强制启用 AppArmor profile 的情况。在本版本中，启用 AppArmor 的节点超出了受支持配置范围。

Ubuntu Security Guide 提供的 STIG profile 之类的加固操作系统配置会启用这些机制。基于同样的原因，将此类 profile 应用于集群节点也超出受支持配置范围。

如果您的安全策略要求这些机制保持启用。 请使用 Alauda OS，这是平台随附的不可变操作系统。在 Alauda OS 上，SELinux 和主机防火墙默认启用，平台会为您维护策略和端口规则。请参见 不可变基础设施文档。

未来版本计划支持在 enforcing 模式下运行启用 SELinux 的 Red Hat Enterprise Linux 9.6。请联系技术支持了解其状态。

#强化节点安全配置

仅当强制性的安全策略（例如 STIG 基线）要求集群节点上的主机防火墙保持启用时，才使用本节。保持主机防火墙禁用是默认且推荐的节点配置，这也是在不带参数运行 init.sh 时的结果。启用主机防火墙属于非默认配置，需要由您自行负责，并且该配置尚未在本版本支持列表中的所有操作系统上完成验证，因此在应用到生产节点之前，请先在非生产环境中进行验证。

SELinux 和 AppArmor 是另一种情况：它们必须保持禁用状态。请参见为什么必须禁用 SELinux 和 AppArmor。

#保持主机防火墙启用，而不是在之后重新打开

init.sh 可以跳过单个步骤。请传入对应的 --skip- 参数，这样脚本就不会禁用您的策略要求启用的主机防火墙：

例如，要在 RHEL 节点上保持 firewalld 启用：

bash init.sh --skip-disable_firewalld

这是推荐的方式。节点将保持其安装时的状态，而 init.sh 仍会执行其他所有节点预处理步骤。

#操作顺序

应在平台安装之前配置节点，而不是在安装之后。这样，如果防火墙存在问题，会在安装程序运行期间暴露出来，而不是在集群已经承载工作负载之后才出现。

1. 使用与主机防火墙实现相匹配的 --skip- 参数运行 init.sh。
2. 配置主机防火墙规则。
3. 使用防火墙实现对应的状态命令验证节点上的最终状态，例如 firewall-cmd --list-all 或 ufw status verbose。
4. 安装平台。

#如果节点已经完整执行过 init.sh

仅当主机防火墙之前已被禁用，而您必须将其重新启用时，才使用此流程。相比一开始就跳过该步骤，这会更费工夫。

1. 启用并启动服务，例如使用 systemctl enable --now firewalld，或者在 Ubuntu 上使用 ufw enable。
2. 按如下所述配置端口规则。
3. 使用 firewall-cmd --list-all 或 ufw status verbose 确认最终规则集。

#主机防火墙

平台不要求使用特定的主机防火墙实现。RHEL 和 Kylin Linux Advanced Server 节点通常使用 firewalld，Ubuntu 节点通常使用 ufw。无论使用哪种实现，都应放行相同的一组端口。端口列表请参见通信矩阵。

运行安装程序的节点还会使用 8080、12080、12443 和 16443。在开始安装之前，请先在该节点上放行这些端口。

#删除冲突软件包

安装之前，节点上可能已经在 docker/nerdctl/containerd 环境中运行了应用，或者安装了与 global 集群冲突的软件。因此，有必要检查并卸载冲突软件包。

可参考以下命令。

for x in \
    docker docker-client docker-common docker-latest \
    podman-docker podman \
    runc \
    containernetworking-plugins \
    apptainer \
    kubernetes kubernetes-master kubernetes-node kubernetes-client \
    ; do
    rpm -qa | grep -F "$x"
done

for x in \
    docker docker-client docker-common docker-latest \
    podman-docker podman \
    runc \
    containernetworking-plugins \
    apptainer \
    kubernetes kubernetes-master kubernetes-node kubernetes-client \
    ; do
    yum remove "$x"
done

for x in \
    docker.io \
    podman-docker \
    containerd \
    rootlesskit \
    rkt \
    containernetworking-plugins \
    kubernetes \
    ; do
    dpkg-query -l | grep -F "$x"
done

for x in \
    kubernetes-worker \
    kubectl kube-proxy kube-scheduler kube-controller-manager kube-apiserver \
    k8s microk8s \
    kubeadm kubelet \
    ; do
    snap list | grep -F "$x"
done

for x in \
    docker.io \
    podman-docker \
    containerd \
    rootlesskit \
    rkt \
    containernetworking-plugins \
    kubernetes \
    ; do
    apt-get purge "$x"
done

for x in \
    kubernetes-worker \
    kubectl kube-proxy kube-scheduler kube-controller-manager kube-apiserver \
    k8s microk8s \
    kubeadm kubelet \
    ; do
    snap remove --purge "$x"
done

for x in \
    docker docker-client docker-common \
    docker-engine docker-proxy docker-runc \
    podman-docker podman \
    containernetworking-plugins \
    apptainer \
    containerd \
    kubernetes kubernetes-master kubernetes-node kubernetes-client kubernetes-kubeadm \
    ; do
    rpm -qa | grep -F "$x"
done

for x in \
    docker docker-client docker-common \
    docker-engine docker-proxy docker-runc \
    podman-docker podman \
    containernetworking-plugins \
    apptainer \
    containerd \
    kubernetes kubernetes-master kubernetes-node kubernetes-client kubernetes-kubeadm \
    ; do
    yum remove "$x"
done

#配置 Search 域

在 Linux OS 中，/etc/resolv.conf 文件用于配置 DNS 客户端的域名解析设置。search 行用于指定 DNS 查询的域搜索路径。

配置要求

• 域数量： search 行中的域数量应小于 domainCountLimit - 3（默认 domainCountLimit 为 32）。
• 单个域长度： 每个域名不得超过 253 个字符。
• 总字符长度： 所有域名及空格的总字符数不得超过 MaxDNSSearchListChar（默认值为 2048）。

示例

search domain1.com domain2.com domain3.com

• 域的总数为 3。
• 单个域的长度，例如 domain1.com，为 11。
• 总字符长度为 35，即 11 + 11 + 11 + 2（两个空格）。