调整节点内核参数(sysctl)

某些内核参数是按节点设置的,而不是按工作负载设置的,例如 ARP/邻居表垃圾回收阈值。这些是节点级(非命名空间)设置,因此无法通过 Pod 的 securityContext.sysctls 或安全上下文约束进行设置;必须在主机上应用。

可以通过使用 MachineConfig 对象写入 sysctl drop-in 文件来设置这些参数。该设置会作为单独的文件写入 /etc/sysctl.d/,因此不会更改节点的其他内核设置。将 MachineConfig 与节点中断策略配合使用,以便在不重启节点的情况下应用该值。

适用场景

一种常见情况是,大型集群中的节点记录了 neighbour table overflow 错误:ARP/邻居表无法容纳如此多的对等节点,需要提高其垃圾回收阈值。以下示例提高了这些阈值;同样的操作步骤也适用于任何节点级 sysctl 键。

设置内核参数

以下示例提高了工作节点上的 ARP/邻居表垃圾回收阈值。

  1. 创建 sysctl drop-in 文件。每一行都是一个 key = value 键值对:

    net.ipv4.neigh.default.gc_thresh1 = 32768
    net.ipv4.neigh.default.gc_thresh2 = 65536
    net.ipv4.neigh.default.gc_thresh3 = 262144
  2. 对内容进行 Base64 编码:

    base64 -w0 99-neigh-thresh.conf
  3. 创建一个 MachineConfig 对象,将文件写入 /etc/sysctl.d/:

    apiVersion: machineconfiguration.alauda.io/v1alpha1
    kind: MachineConfig
    metadata:
      name: 99-worker-neigh-thresh
      labels:
        machineconfiguration.alauda.io/role: worker
    spec:
      config:
        ignition:
          version: 3.4.0
        storage:
          files:
            - path: /etc/sysctl.d/99-neigh-thresh.conf
              mode: 0o644
              overwrite: true
              contents:
                source: 'data:text/plain;base64,bmV0LmlwdjQubmVpZ2guZGVmYXVsdC5nY190aHJlc2gxID0gMzI3NjgKbmV0LmlwdjQubmVpZ2guZGVmYXVsdC5nY190aHJlc2gyID0gNjU1MzYKbmV0LmlwdjQubmVpZ2guZGVmYXVsdC5nY190aHJlc2gzID0gMjYyMTQ0Cg=='

    role 标签用于选择应用该文件的节点。若要仅针对部分节点,请创建自定义 MachineConfigPool,并将标签设置为该池的角色。

  4. 配置节点中断策略,以便在文件更改时重新应用 sysctl 设置。由于文件更改的默认操作是 None,否则该文件只会写入磁盘,而不会生效。将以下内容添加到集群范围的 MachineConfiguration 单例 cluster 中,并在应用 MachineConfig 之前确认其已反映在 status.nodeDisruptionPolicyStatus 中:

    apiVersion: machineconfiguration.alauda.io/v1alpha1
    kind: MachineConfiguration
    metadata:
      name: cluster
    spec:
      nodeDisruptionPolicy:
        files:
          - path: /etc/sysctl.d/99-neigh-thresh.conf
            actions:
              - type: Restart
                restart:
                  serviceName: systemd-sysctl.service
        sshkey:
          actions:
            - type: None

重启 systemd-sysctl.service 会重新应用 /etc/sysctl.d/ 下的每个文件。新值会生效,且节点不会重启。

WARNING

先为该文件路径设置节点中断策略,并等待其显示在 status.nodeDisruptionPolicyStatus 中。如果在策略生效前应用 MachineConfig,文件会写入磁盘,但不会应用该值。如需查看完整的中断操作列表,请参阅节点中断策略。

验证更改

在目标节点上读取参数:

sysctl net.ipv4.neigh.default.gc_thresh2

输出应显示你设置的值:

net.ipv4.neigh.default.gc_thresh2 = 65536

还原更改

删除 MachineConfig 对象以移除 drop-in 文件。已应用的值会继续对运行中的内核生效,直到节点下次重启;重启后,节点将应用默认值。