Alauda Container Platform
  • 简体中文

    • MetalLB Operator

    目录

    了解 MetalLB Operator术语MetalLB 的高可用性原理选择 VIP 承载节点的算法计算公式应用示例自定义资源定义IPAddressPoolL2AdvertisementBGPPeerBGPAdvertisementBFDProfile（可选）约束和限制安装和卸载 MetalLB Operator配置组件放置调整日志级别升级 MetalLB Operator

    了解 MetalLB Operator

    MetalLB Operator 为无法使用云负载均衡器服务的本地或裸金属环境提供 Kubernetes 原生负载均衡器实现。 它通过为服务分配外部 IP 地址，并通过 Layer 2 (ARP/NDP) 或 Layer 3 (BGP) 宣告这些地址，使类型为 LoadBalancer 的 Service 资源能够正常工作。

    Operator 会自动管理 MetalLB 组件的生命周期，包括安装、升级和配置同步。

    术语

    术语描述
    VIP虚拟 IP 地址 (VIP) 是 MetalLB 为 LoadBalancer 类型的内部路由分配的 IP 地址，为外部流量访问集群内的服务提供统一的访问入口。
    ARP地址解析协议 (ARP) 用于将网络层 IP 地址映射到数据链路层 MAC 地址。
    GARP无故 ARP (GARP) 是一种特殊的 ARP 请求，用于通知网络中的其他节点某个 IP 地址与 MAC 地址之间的绑定关系。与普通 ARP 请求不同，GARP 不会等待响应，而是主动在网络中发送信息。
    ARP ResponderMetalLB 中负责响应 ARP 请求的组件，它会将 VIP 映射到节点的 MAC 地址。当节点需要与 VIP 通信时，会发送 ARP 请求以获取对应于 VIP 的 MAC 地址。每个可用节点都有一个 ARP Responder，用于响应这些请求，并将 VIP 映射到该节点的 MAC 地址。
    ControllerMetalLB 中负责从外部地址池动态分配 VIP，以用于 LoadBalancer 类型的内部路由的组件。Controller 会监听集群中内部路由的创建和删除事件，并根据需要分配或释放 VIP。
    SpeakerMetalLB 中根据策略或算法确定节点是否应承载 VIP 并发送 GARP 的组件。它确保节点之间保持一定程度的均衡；当节点不可用时，其他节点可以接管 VIP 并发送 GARP，从而实现高可用性。

    MetalLB 的高可用性原理

    默认情况下，平台使用 MetalLB 的 ARP 模式，具体实现流程和原理如下：

    • MetalLB 的 Controller 组件从外部地址池中选择一个 IP 地址，并将其分配给 LoadBalancer 类型的内部路由作为 VIP。

    • MetalLB 根据算法选择一个可用节点作为 leader 来承载 VIP，然后由该节点转发流量。

    • 此节点上的 Speaker 组件会主动发送 GARP，在所有节点间建立 VIP 与 MAC 地址的映射关系。

      • 同一子网内的节点学习到 VIP 与可用节点 MAC 地址之间的映射关系后，访问 VIP 时会直接与该节点通信。

      • 不同子网中的节点会先将流量路由到其所在子网的网关，再由网关将流量转发到承载 VIP 的节点。

    • 当此节点发生故障时，MetalLB 会选择另一个 leader 承载 VIP。随后发送 GARP，以刷新 Service IP 的 MAC 地址，从而确保高可用性。

    • 流量到达节点后，Kube-Proxy 会将其转发到相应的 Pod。

    选择 VIP 承载节点的算法

    给定负载均衡器 IP 的“leader”（将要通告该 IP 的节点）选举是无状态的，工作方式如下：

    • 每个 speaker 都会收集给定 IP 的潜在通告者列表，同时考虑活动 speaker、外部流量策略、活动端点、节点选择器及其他因素。
    • 每个 speaker 执行相同的计算：获取“节点+VIP”元素哈希值的排序列表，并在自身是列表中的第一项时通告该服务。

    这样便无需记忆哪个 speaker 负责通告给定 IP。

    计算公式

    公式为：外部地址池数量 = ceil(n-vip / n-node)，其中 ceil 表示向上取整。

    注意：如果使用虚拟机，虚拟机数量 = 外部地址池数量 * n。此处 n 必须大于 2，且最多允许一个节点故障。

    • n-vip：表示 VIP 的数量。

    • n-node：表示单个节点能够承载的 VIP 数量。

    应用示例

    如果某公司有 10 个 VIP，且每个可用节点能够承载 5 个 VIP，同时允许一个节点发生故障，那么该公司应如何规划外部地址池数量和可用节点数量？

    分析：

    共需要两个外部地址池和四个可用节点。

    • 每个可用节点最多可以承载 5 个 VIP，这意味着一个外部地址池可以容纳 5 个 VIP，因此 10 个 VIP 需要两个外部地址池。

    • 允许一个节点发生故障意味着每个地址池必须包含一个承载 VIP 的节点和一个备用节点，因此两个外部地址池各需要两个可用节点。

    自定义资源定义

    MetalLB Operator 会在 metallb.io API 组下安装并管理多个 CRD。 这些 CRD 定义了 MetalLB 分配和通告 IP 地址的方式。

    CRDKind用途
    IPAddressPoolIPAddressPool定义可供负载均衡服务使用的 IP 地址池。
    L2AdvertisementL2Advertisement配置如何使用 ARP/NDP（Layer 2）通告地址池中的 IP。
    BGPPeerBGPPeer定义 MetalLB 用于建立路由会话的 BGP 对等端（Layer 3）。
    BGPAdvertisementBGPAdvertisement指定通过 BGP 通告哪些 IPAddressPools 以及所使用的策略。
    BFDProfileBFDProfile可选；定义双向转发检测参数，以更快检测 BGP 故障。

    IPAddressPool

    定义 MetalLB 可分配给 Service.type=LoadBalancer. 的 IP 范围

    apiVersion: metallb.io/v1beta1
kind: IPAddressPool
metadata:
  name: production-pool
  namespace: metallb-system
spec:
  addresses:
    - 192.168.10.100-192.168.10.150
  autoAssign: true
    1. 一个或多个 CIDR 或范围。
    2. 默认情况下，MetalLB 会从任何已配置且有空闲地址的地址池中分配 IP。这可能导致为不需要“昂贵”地址的服务使用此类地址。 若要阻止此行为，可以将地址池的 autoAssign 标志设置为 false，从而禁用自动分配

    L2Advertisement

    用于 Layer 2 模式，在该模式下 MetalLB 通过 ARP/NDP 通告 IP。

    apiVersion: metallb.io/v1beta1
kind: L2Advertisement
metadata:
  name: l2-adv
  namespace: metallb-system
spec:
  ipAddressPools:
    - production-pool
    1. 将通告其 IP 的地址池列表。

    BGPPeer

    apiVersion: metallb.io/v1beta1
kind: BGPPeer
metadata:
  name: peer1
  namespace: metallb-system
spec:
  peerAddress: 10.0.0.1
  peerASN: 64512
  myASN: 64513
  holdTime: 90s
  keepaliveTime: 30s
  nodeSelectors:
    - matchLabels:
        alertmanager: 'true'
    1. 对等路由器的 IP 地址。
    2. 对等端的 ASN。
    3. MetalLB 使用的 ASN。
    4. holdTime / keepaliveTime：BGP 会话的可选计时器。
    5. 可以在配置中使用对等端的 node-selectors 属性，将对等端限制为特定节点。

    BGPAdvertisement

    控制如何通过 BGP 通告地址池中的 IP。

    apiVersion: metallb.io/v1beta1
kind: BGPAdvertisement
metadata:
  name: bgp-adv
  namespace: metallb-system
spec:
  ipAddressPools:
    - production-pool
  aggregationLength: 32
  communities:
    - no-export
    1. 要通告的地址池。
    2. 路由聚合前缀长度。
    3. BGP community 属性。

    BFDProfile（可选）

    用于定义 BGP 对等端的 BFD（双向转发检测）参数。

    apiVersion: metallb.io/v1beta1
kind: BFDProfile
metadata:
  name: fast-failover
spec:
  receiveInterval: 300
  transmitInterval: 300
  detectMultiplier: 3

    约束和限制

    外部地址的 IP 资源必须满足以下条件：

    • 外部地址池必须与可用节点通过二层（L2）互联。

    • IP 必须可供平台使用，且不能包含物理网络中已在使用的 IP，例如网关 IP。

    • 不能与集群使用的网络重叠，包括 Cluster CIDR、Service CIDR、子网等。

    • 在双栈环境中，请确保同一外部地址池中同时存在 IPv4 和 IPv6 地址，且两者的数量都大于 0。否则，双栈 LoadBalancer 类型的内部路由将无法获取外部访问地址。

    • 在 IPv6 环境中，节点的 DNS 必须支持 IPv6；否则，MetalLB 插件将无法成功部署。

    安装和卸载 MetalLB Operator

    可以通过 Alauda Container Platform Web 控制台中的 Cluster Plugin 安装 Operator。

    1. 导航到 Administrator -> Marketplace -> Cluster Plugin
    2. 输入关键字 MetalLB。
    3. 单击 ⋮，然后单击 Install。
    4. 安装完成后，单击 ⋮，然后单击 Uninstall。

    配置组件放置

    安装 MetalLB Cluster Plugin 后，直接在 metallb-system 命名空间中的 MetalLB 自定义资源上配置组件放置。安装期间，如果该资源不存在，Cluster Plugin 会创建该资源；controller 和 speaker 的调度设置由此资源管理。

    apiVersion: metallb.io/v1beta1
kind: MetalLB
metadata:
  name: metallb
  namespace: metallb-system
spec:
  controllerNodeSelector:
    dedicated: ingress
  controllerTolerations:
    - key: dedicated
      operator: Equal
      value: ingress
      effect: NoSchedule
  nodeSelector:
    dedicated: ingress
  speakerTolerations:
    - key: dedicated
      operator: Equal
      value: ingress
      effect: NoSchedule

    controllerNodeSelector 和 controllerTolerations 适用于 MetalLB controller Deployment。nodeSelector 和 speakerTolerations 适用于 MetalLB speaker DaemonSet。默认情况下，这些字段为空，因此 MetalLB 不容忍任何额外的 taint。

    在二层模式下，L2Advertisement.spec.nodeSelectors 配置决定哪些 speaker 可以通告 VIP。请将其与 MetalLB 组件放置和 IngressNginx.spec.controller.nodeSelector 对齐，以便 speaker 可以从运行 Ingress Nginx pod 的节点通告 VIP。

    调整日志级别

    在 MetalLB 自定义资源上设置 spec.logLevel，以调整 controller 和 speaker 使用的日志级别：

    spec:
  logLevel: warn

    支持的值包括 all、debug、info、warn、error 和 none。默认值为 info。

    升级 MetalLB Operator

    通过 Alauda Container Platform Web 控制台上传软件包来升级 MetalLB Operator。

    1. 导航至 Administrator -> Marketplace -> Upload Package

    详细了解上传软件包。