Immutable Infrastructure
  • 简体中文

    • 调优节点内核参数 (sysctl)

    某些内核参数是按节点而非按工作负载设置的——例如 ARP/neighbor 表的垃圾回收阈值。这些是节点级（非命名空间）设置，因此无法通过 Pod 的 securityContext.sysctls 或安全上下文约束来设置；必须在主机上应用。

    你可以通过 MachineConfig 对象写入 sysctl drop-in 文件来设置这些参数。该设置会作为单独的文件写入 /etc/sysctl.d/ 目录下，因此节点的其他内核设置保持不变。将 MachineConfig 与节点中断策略配合使用，即可在不重启节点的情况下应用该值。

    目录

    何时使用设置内核参数验证更改还原更改

    何时使用

    一种常见情况是大型集群的节点记录 neighbour table overflow 错误：ARP/neighbor 表相对于对等节点数量过小，需要提高其垃圾回收阈值。下面的示例会提高这些阈值；相同的操作步骤适用于任何节点级 sysctl 键。

    设置内核参数

    以下示例会提高 worker 节点上的 ARP/neighbor 表垃圾回收阈值。

    1. 创建 sysctl drop-in 文件。每行是一个 key = value 对：

      net.ipv4.neigh.default.gc_thresh1 = 32768
net.ipv4.neigh.default.gc_thresh2 = 65536
net.ipv4.neigh.default.gc_thresh3 = 262144

    2. 对内容进行 Base64 编码：

      base64 -w0 99-neigh-thresh.conf

    3. 创建一个 MachineConfig 对象，将文件写入 /etc/sysctl.d/ 目录下：

      apiVersion: machineconfiguration.alauda.io/v1alpha1
kind: MachineConfig
metadata:
  name: 99-worker-neigh-thresh
  labels:
    machineconfiguration.alauda.io/role: worker
spec:
  config:
    ignition:
      version: 3.4.0
    storage:
      files:
        - path: /etc/sysctl.d/99-neigh-thresh.conf
          mode: 0o644
          overwrite: true
          contents:
            source: 'data:text/plain;base64,bmV0LmlwdjQubmVpZ2guZGVmYXVsdC5nY190aHJlc2gxID0gMzI3NjgKbmV0LmlwdjQubmVpZ2guZGVmYXVsdC5nY190aHJlc2gyID0gNjU1MzYKbmV0LmlwdjQubmVpZ2guZGVmYXVsdC5nY190aHJlc2gzID0gMjYyMTQ0Cg=='

      role 标签用于选择将文件应用到哪些节点。要仅针对部分节点，请创建自定义 MachineConfigPool，并将标签设置为该池的角色。

    4. 配置节点中断策略，以便在此文件发生更改时重新应用 sysctl 设置。由于文件更改的默认操作为 None，否则文件会被写入磁盘但不会生效。将以下内容添加到名为 cluster 的集群范围 MachineConfiguration 单例中，并在应用 MachineConfig 之前确认其已反映在 status.nodeDisruptionPolicyStatus 中：

      apiVersion: machineconfiguration.alauda.io/v1alpha1
kind: MachineConfiguration
metadata:
  name: cluster
spec:
  nodeDisruptionPolicy:
    files:
      - path: /etc/sysctl.d/99-neigh-thresh.conf
        actions:
          - type: Restart
            restart:
              serviceName: systemd-sysctl.service
    sshkey:
      actions:
        - type: None

    重启 systemd-sysctl.service 会重新应用 /etc/sysctl.d/ 下的所有文件。新值会生效，且节点不会重启。

    WARNING

    首先为该文件路径设置节点中断策略，并等待其出现在 status.nodeDisruptionPolicyStatus 中。如果在策略生效之前应用 MachineConfig，文件会被写入磁盘但值不会被应用。有关中断操作的完整列表，请参阅 节点中断策略。

    验证更改

    在目标节点上，读取该参数：

    sysctl net.ipv4.neigh.default.gc_thresh2

    输出应显示你设置的值：

    net.ipv4.neigh.default.gc_thresh2 = 65536

    还原更改

    删除 MachineConfig 对象以移除 drop-in 文件。已应用的值在运行中的内核上仍然有效，直到节点下次重启，之后将应用节点的默认值。