节点预处理
在安装 global 集群之前,所有节点(控制平面节点和工作节点)都必须完成预处理。
本页面适用于运行 非 Alauda OS 的节点,例如 Kylin Linux Advanced Server、RHEL 或 Ubuntu, 通过 SSH 为这些节点配置资源。下面的多项检查(例如 SSH 用户和 /etc/ssh/sshd_config 设置)用于确保基于 SSH 的节点加入功能正常运行。如果您的集群使用 Alauda OS,则本页面中的节点预处理步骤不适用。请改为遵循在 Alauda OS 上安装 global 集群。
目录
支持的操作系统和内核版本x86ARM操作系统支持范围变更执行快速配置脚本节点检查附录为什么必须禁用 SELinux 和 AppArmor加固的节点安全配置保持主机防火墙启用,而不是重新启用操作顺序如果节点已运行完整的init.sh主机防火墙删除冲突的软件包配置搜索域支持的操作系统和内核版本
下表列出了支持的操作系统、经过验证的版本以及相应的测试内核版本。
平台会强制执行支持列表中声明的版本匹配粒度:
- 操作系统版本:使用下面列出的发行版版本。除非同时列出,否则不正式支持其他主版本或次版本。
- 内核版本:使用操作系统供应商提供的官方内核。如果列表给出了确切的
x.y.z-build值,则构建后缀可以不同,但x.y.z必须匹配。如果列表列出了操作系统版本但未指定内核值,则使用该版本随附的官方内核。不要假设任意较新的内核都受支持。
x86-64-v2 是 CPU 指令集基线,但对于运行非 Alauda OS 的 x86 节点, 不会将其作为通用要求。CPU 仍必须满足所选操作系统和待部署组件的要求。如果无法确认兼容性,请联系技术支持。
x86
- RHEL 9.6:
5.14.0-570.12.1
ARM
- Kylin Linux Advanced Server V11 2503: 官方
6.6.0内核,例如6.6.0-32.24.v2505.ky11。内核名称中的vYYMM标记(例如v2505)是内核补丁标记,而不是操作系统版本。nkvers显示的操作系统版本为V11 2503。
注意:ARM 架构仅支持 Kunpeng 920。对于其他 CPU 型号,请联系技术支持。
操作系统支持范围变更
4.4 引入了 Kubernetes 1.35,而 Kubernetes 1.35 移除了 cgroup v1。运行 Kubernetes 1.35 或更高版本的集群中的节点必须使用 cgroup v2 和 Linux 内核 5.8 或更高版本。
由于以下操作系统的内核版本低于 5.8,这些操作系统截至 4.3 仍受支持,但从 4.4 起不再属于支持范围:
- Kylin Linux Advanced Server V10 和 V10 SP3(内核 4.19)
- Ubuntu 20.04 LTS(内核 5.4)
- RHEL 7.x 和 RHEL 8.x(内核 3.10 和内核 4.18)
- CentOS 7.x(内核 3.10)
如果您的节点运行其中某个操作系统,请选择以下路径之一。通常,升级到同一操作系统供应商提供的较新版本是成本最低的选项,因为这样可以保留现有的供应商关系、工具和运维实践:
- 将 RHEL 7.x 或 RHEL 8.x 节点迁移到 RHEL 9.6。
- 将 Ubuntu 20.04 LTS 节点迁移到 Ubuntu 22.04 LTS。
- 将 Kylin Linux Advanced Server V10 或 V10 SP3 节点迁移到 Kylin Linux Advanced Server V11 2503。
- 将节点迁移到 Alauda OS。有关
global集群,请参阅Alauda OS 上的安装;有关工作负载集群,请参阅Alauda OS 上的创建。Alauda OS 是不可变操作系统,因此此路径会改变节点的管理方式,通常也是成本最高的选项。 - 继续使用 4.3.x,直到可以完成操作系统变更。
CentOS 7.x 在支持列表中没有后续版本。请将这些节点迁移到上述受支持的操作系统之一。
请在集群仍运行当前 版本时变更操作系统,并且仅在所有节点都运行受支持的操作系统后,再升级到 4.4 或更高版本。此变更通常需要重建节点或更换机器。升级 不会将节点迁移到其他操作系统。
执行快速配置脚本
安装包提供了一个用于快速配置节点的脚本。
解压安装包,以获取 init.sh 目录中的 res 脚本文件。将脚本文件复制到节点,并确保您具有 root 权限。
执行脚本:
init.sh 无法保证正确处理以下所有检查。您仍需继续执行以下步骤。
节点检查
以下列出了必须在节点上完成的所有检查。所需的检查因节点角色而异。例如,某些检查仅适用于控制平面节点。
检查分为以下两类:
- ✅ 表示检查必须通过。
- ⚠️ 表示检查必须在特定场景下满足。请根据说明确定是否满足相应条件。如果满足,则必须解决相关问题。
以下是检查列表:
-
操作系统和内核
- ✅ 计算机的 grub 启动配置必须包含
transparent_hugepage=never参数。 - ✅ 检查内核模块
ip_vs、ip_vs_rr、ip_vs_wrr和ip_vs_sh是否已启用。 - ⚠️ 如果
global集群计划使用Kube-OVNCNI,则必须启用内核模块geneve和openvswitch。 - ✅ 必须禁用 SELinux 和 AppArmor。在运行非 Alauda OS 的节点上不能保持启用状态;请参阅为什么必须禁用 SELinux 和 AppArmor。
- ✅ 必须禁用主机防火墙,除非您的安全策略要求保持启用。在这种情况下,必须按照强化节点安全配置中的说明配置节点,然后再安装平台。
init.sh会禁用主机防火墙。若要保持启用状态,请将匹配的--skip-参数传递给init.sh,而不是之后重新启用防火墙。- 保持主机防火墙启用属于非默认配置。平台不会管理非 Alauda OS,因此启用主机防火墙可能会导致节点或集群中出现意外故障。您需要负责在此配置下运行和排查节点问题。
- 启用主机防火墙后,您需要在每个节点上配置和维护端口规则。有关平台所需的端口,请参阅通信矩阵。
- ✅ 禁用
swap。
- ✅ 计算机的 grub 启动配置必须包含
-
用户和权限
- ✅ 节点的 SSH 用户具有
root权限,并且可以免密码使用sudo。 - ✅
UseDNS中的/etc/ssh/sshd_config参数必须设置为no。 - ✅ 在添加节点前,将
UsePAM中的/etc/ssh/sshd_config参数设置为no,然后重启sshd。否则,PAM 会话策略(例如强制修改密码、pam_access、faillock或pam_limits)可能会阻止基于 SSH 的节点加入。节点达到Ready状态后,可以恢复UsePAM yes。在使用密码认证的 SELinux 强制模式系统上,UsePAM no本身可能会导致 SSH 登录失败;在这种情况下,请使用基于密钥的认证。 - ✅
systemctl show --property=DefaultTasksMax必须返回infinity;限制过低可能导致繁忙的容器无法创建线程。如果不是infinity,请在/etc/systemd/system.conf中设置DefaultTasksMax=infinity,然后运行systemctl daemon-reexec。
- ✅ 节点的 SSH 用户具有
-
节点网络
- ✅
hostname必须符合以下规则:- 不超过 36 个字符。
- 以字母或数字开头和结尾。
- 只能包含小写字母、数字、
-和.,但不能包含.-、..或-.。
- ✅
localhost中的/etc/hosts必须解析为127.0.0.1。 - ✅
/etc/resolv.conf文件必须存在并包含nameserver配置,但不能包含以 172 开头的地址(禁用 systemd-resolved)。 - ⚠️
/etc/resolv.conf文件不应配置搜索域(如果必须配置,请参阅配置搜索域)。 - ✅ 计算机的 IP 地址不能是环回地址、多播地址、链路本地地址、全 0 地址或广播地址。
- ✅ 执行
ip route必须返回默认路由或指向0.0.0.0的路由。 - ✅ 节点不得占用以下端口。此检查用于确认安装开始前端口处于空闲状态;这些端口并非主机防火墙必须允许的端口列表。有关该列表,请参阅通信矩阵。
- 控制平面节点:
2379、2380、6443、10249~10256 - 安装程序所在节点:
8080、12080、12443、16443、2379、2380、6443、10249~10256 - 工作节点:
10249~10256
- 控制平面节点:
- ✅ 如果集群使用 Kube-OVN 或 Calico,请确保以下端口未被占用:
- Kube-OVN:
6641、6642 - Calico:
179
- Kube-OVN:
- ⚠️ 请确保 nerdctl 所需网络段
172.17.x.x~172.18.x.x中的 IP 地址未被占用。如果此网络段中的 IP 已被占用且无法更改,请联系技术支持。
- ✅
-
软件和目录要求:
- ✅ 必须安装以下内容:
ip、ss、tar、swapoff、modprobe、sysctl、md5sum以及scp或sftp。 - ⚠️ 如果计划使用本地存储 TopoLVM 或 Rook,则需要安装
lvm2。 - ✅ 不允许存在
/etc/systemd/system/kubelet.service文件。 - ✅
/tmp的挂载参数不得包含noexec。 - ✅ 删除与
global集群组件冲突的软件包(请参阅删除冲突的软件包)。 - ✅ 如果以下文件存在,则必须删除:
/var/lib/docker/var/lib/nerdctl/opt/nerdctl//var/lib/containerd/var/log/pods/var/lib/kubelet/pki
- ✅ 必须安装以下内容:
-
跨节点检查
- ✅
global集群中节点之间的网络通信不得受限:- 在未启用主机防火墙的默认配置下,节点之间不得存在网络防火墙限制。
- 在节点上启用主机防火墙时,通信矩阵中的每个端口都必须允许节点之间进行通信,并且集群内部的 Pod 和 Service 流量不得按端口进行过滤。
- ✅ 集群中每个节点的
hostname必须唯一。 - ✅ 所有节点的时区必须统一,时间同步误差必须 ≤ 10 秒。
- ✅
附录
为什么必须禁用 SELinux 和 AppArmor
在运行非 Alauda OS 的节点上,必须禁用 SELinux 和 AppArmor。这是此版本的平台要求,而不是加固建议。init.sh 会同时禁用二者,节点加入集群时,节点加入操作步骤会再次禁用它们。
SELinux。平台组件会将主机路径挂载到容器中。镜像仓库安装程序会将主机上的 /proc/mounts 文件绑定挂载到其容器中,而镜像仓库和对象存储组件会将数据存储在主机上的 /cpaas 和 /etc/kubernetes 等目录下,这些目录带有操作系统的默认文件标签。在非 Alauda OS 上,容器运行时配置为不使用 SELinux 标签,因此这些挂载会根据主机策略进行评估;当 SELinux 以 enforcing 模式运行时,这些挂载会被拒绝。随后,容器运行时会在容器进程启动前创建容器失败,镜像仓库组件始终无法完成安装,平台安装或升级也会停止。
permissive 模式不是替代方案:它改变的是记录的日志,而不是要求。安装后切换回 enforcing 的节点不属于受支持的配置。
AppArmor。节点预处理会禁用 AppArmor,并且平台未针对在集群节点上强制执行 AppArmor 配置文件的情况进行验证。在启用 AppArmor 的情况下运行节点不属于此版本支持的配置。
加固的操作系统配置文件(例如 Ubuntu Security Guide 提供的 STIG 配置文件)会启用这些机制。由于相同原因,将此类配置文件应用于集群节点不属于受支持的配置。
如果您的安全策略要求这些机制保持启用,请使用 Alauda OS,即平台提供的不可变操作系统。在 Alauda OS 上,SELinux 和主机防火墙默认处于启用状态,平台会为您维护策略和端口规则。请参阅Alauda OS 安装和在 Alauda OS 上创建。
未来版本计划支持在 SELinux enforcing 模式下运行 Red Hat Enterprise Linux 9.6。有关其状态,请联系技术支持。
加固的节点安全配置
仅当强制性安全策略(例如 STIG 基线)要求集群节点保持启用主机防火墙时,才使用本节。保持主机防火墙禁用是默认且推荐的节点配置,在不带参数运行 init.sh 时会生成此配置。启用主机防火墙属于非默认配置,由您负责维护,因此请先在非生产环境中验证,然后再应用到生产节点。
SELinux 和 AppArmor 的情况不同:它们必须保持禁用。请参阅为什么必须禁用 SELinux 和 AppArmor。
保持主机防火墙启用,而不是重新启用
init.sh 可以跳过单个步骤。传递匹配的 --skip- 参数,以确保脚本不会禁用您的策略所要求的主机防火墙:
例如,要在 RHEL 节点上保持 firewalld 启用:
这是推荐方式。节点会保持安装时的状态,并且 init.sh 仍会执行其他所有节点预处理步骤。
操作顺序
请在平台安装前配置节点,而不是安装后配置。这样,防火墙问题会在安装程序运行期间暴露,而不是在集群承载工作负载后才出现。
- 针对所使用的主机防火墙实现方式,使用
--skip-参数运行init.sh。 - 配置主机防火墙规则。
- 使用防火墙实现方式的状态命令验证节点上的最终状态,例如
firewall-cmd --list-all或ufw status verbose。 - 安装平台。
如果节点已运行完整的 init.sh
仅当主机防火墙已经被禁用且必须重新启用时,才使用此方式。这比一开始就跳过该步骤需要更多操作。
- 启用并启动服务,例如使用
systemctl enable --now firewalld;在 Ubuntu 上则使用ufw enable。 - 按照下文所述配置端口规则。
- 使用
firewall-cmd --list-all或ufw status verbose确认最终规则集。
主机防火墙
平台不要求使用特定的主机防火墙实现方式。RHEL 和 Kylin Linux Advanced Server 节点通常使用 firewalld,Ubuntu 节点通常使用 ufw。无论使用哪种实现方式,都应允许同一组端口。有关端口列表,请参阅通信矩阵。
通信矩阵列出了节点监听的端口。Pod 到 Pod 以及 Pod 到 Service 的流量使用任意端口,不在该列表涵盖范围内,因此仅允许列表中端口的防火墙会破坏集群网络。启用主机防火墙时,还应将 Pod CIDR、Service CIDR 以及 CNI 插件创建的网络接口视为受信任源,以免按端口过滤集群内部流量。接口名称取决于 CNI 插件和环境,因此请从节点读取接口名称,不要假定使用固定名称。
运行安装程序的节点还会使用其他端口。开始安装前,请在该节点上允许这些端口;请参阅安装程序节点端口。
删除冲突的软件包
安装前,节点上的 docker/nerdctl/containerd 环境中可能已运行应用,或者可能已安装与 global 集群冲突的软件。因此,有必要检查并卸载冲突的软件包。
- 为避免应用中断或数据丢失,请务必确认是否存在冲突的软件包。发现冲突时,请在卸载前制定应用切换计划并备份数据。
- 卸载冲突的软件包后,仍需检查
/usr/local/bin/等目录中是否存在其他可能冲突的二进制文件(例如与 docker、nerdctl、containerd、runc、podman、容器网络、容器运行时或 Kubernetes 相关的软件)。
以下命令可供参考。
检查:
卸载:
配置搜索域
在 Linux OS 中,/etc/resolv.conf 文件用于配置 DNS 客户端域名解析设置。search 行指定 DNS 查询的域搜索路径。
配置要求
- 域数量:
search行中的域数量应小于domainCountLimit - 3(默认domainCountLimit为 32)。 - 单个域的长度:每个域名不得超过 253 个字符。
- 字符总长度:所有域名和空格的字符总数不得超过
MaxDNSSearchListChar(默认为 2048)。
示例
- 域总数为 3。
- 单个域的长度(例如
domain1.com)为 11。 - 字符总长度为 35,即 11 + 11 + 11 + 2(两个空格)。
- 如果
/etc/resolv.conf文件中的search行不符合上述限制,可能会导致 DNS 查询失败或性能下降。 - 修改
/etc/resolv.conf文件前,建议先备份该文件。