Alauda Container Platform
  • 简体中文

    • MetalLB Operator

    NOTE

    从 ACP 4.5 开始，Alauda Container Platform Load Balancer for MetalLB 更名为 Alauda Container Platform Load Balancer。从 Customer Portal 下载插件时，请搜索 Alauda Container Platform Load Balancer。重命名前发布的插件包上传后，平台中仍会显示 Alauda Container Platform Load Balancer for MetalLB。

    目录

    了解 MetalLB Operator术语MetalLB 中的高可用性原理选择 VIP 承载节点的算法计算公式应用示例自定义资源定义IPAddressPoolL2AdvertisementBGPPeerBGPAdvertisementBFDProfile（可选）约束和限制安装和卸载 MetalLB Operator配置组件放置调整日志级别升级 MetalLB Operator

    了解 MetalLB Operator

    MetalLB Operator 为无法访问云负载均衡器服务的本地或裸机环境提供 Kubernetes 原生负载均衡器实现。 它通过为服务分配外部 IP 地址，并通过二层（ARP/NDP）或三层（BGP）通告这些地址，使类型为 LoadBalancer 的 Service 资源能够正常工作。

    Operator 自动管理 MetalLB 组件的生命周期，包括安装、升级和配置同步。

    术语

    术语描述
    VIP虚拟 IP 地址（VIP）是 MetalLB 为 LoadBalancer 类型内部路由分配的 IP 地址，为外部流量访问集群内的服务提供统一的访问点。
    ARP地址解析协议（ARP）用于将网络层 IP 地址映射到数据链路层 MAC 地址。
    GARPGratuitous ARP（GARP）是一种特殊的 ARP 请求，用于通知网络中的其他节点某个 IP 地址与 MAC 地址之间的绑定关系。与普通 ARP 请求不同，GARP 不等待响应，而是主动向网络发送信息。
    ARP ResponderMetalLB 中负责响应 ARP 请求的组件，它将 VIP 映射到节点的 MAC 地址。当节点需要与 VIP 通信时，会发送 ARP 请求以获取与 VIP 对应的 MAC 地址。每个可用节点都有一个 ARP Responder，用于响应这些请求，并将 VIP 映射到节点的 MAC 地址。
    ControllerMetalLB 中负责从外部地址池动态分配 VIP，以用于 LoadBalancer 类型内部路由的组件。Controller 监听集群中内部路由的创建和删除事件，并根据需要分配或释放 VIP。
    SpeakerMetalLB 中根据策略或算法确定节点是否应承载 VIP 并发送 GARP 的组件。它确保节点之间达到一定程度的均衡；当某个节点不可用时，其他节点可以接管 VIP 并发送 GARP，从而实现高可用性。

    MetalLB 中的高可用性原理

    默认情况下，平台使用 MetalLB 的 ARP 模式，具体实现过程和原理如下：

    • MetalLB 的 Controller 组件从外部地址池中选择一个 IP 地址，并将其作为 VIP 分配给 LoadBalancer 类型的内部路由。

    • MetalLB 根据算法选择一个可用节点作为承载 VIP 的 leader，随后由该节点转发流量。

    • 此节点上的 Speaker 组件主动发送 GARP，在所有节点之间建立 VIP 与 MAC 地址的映射关系。

      • 同一子网中的节点获知 VIP 与可用节点 MAC 地址之间的映射关系后，访问 VIP 时会直接与此节点通信。

      • 不同子网中的节点会先将流量路由到其子网的网关，然后由网关将流量转发到承载 VIP 的节点。

    • 当此节点发生故障时，MetalLB 会选择另一个 leader 承载 VIP。随后发送 GARP 以刷新 Service IP MAC 地址，从而确保高可用性。

    • 流量到达节点后，Kube-Proxy 会将其转发到对应的 Pod。

    选择 VIP 承载节点的算法

    给定负载均衡器 IP 的“leader”（负责通告 IP 的节点）选举是无状态的，工作方式如下：

    • 每个 Speaker 都会收集给定 IP 的潜在通告节点列表，同时考虑活跃的 Speaker、外部流量策略、活跃端点、节点选择器等因素。
    • 每个 Speaker 都执行相同的计算：获取按“节点+VIP”元素哈希值排序的列表，并在自己是列表中的第一项时通告该 Service。

    这样就无需记录由哪个 Speaker 负责通告给定 IP。

    计算公式

    公式为：外部地址池数量 = ceil(n-vip / n-node)，其中 ceil 表示向上取整。

    注意：如果使用虚拟机，虚拟机数量 = 外部地址池数量 * n。此处 n 必须大于 2，且最多允许一个节点发生故障。

    • n-vip：表示 VIP 的数量。

    • n-node：表示单个节点可处理的 VIP 数量。

    应用示例

    如果某公司有 10 个 VIP，且每个可用节点可处理 5 个 VIP，并且允许一个节点发生故障，该公司应如何规划外部地址池和可用节点的数量？

    分析：

    总共需要两个外部地址池和四个可用节点。

    • 每个可用节点最多可处理 5 个 VIP，这意味着一个外部地址池可以容纳 5 个 VIP，因此 10 个 VIP 需要两个外部地址池。

    • 允许一个节点发生故障意味着每个地址池必须包含一个承载 VIP 的节点和一个备用节点，因此两个外部地址池各需要两个可用节点。

    自定义资源定义

    MetalLB Operator 会在 metallb.io API 组下安装并管理多个 CRD。 这些 CRD 定义了 MetalLB 如何分配和通告 IP 地址。

    CRDKind用途
    IPAddressPoolIPAddressPool定义可供负载均衡器 Service 使用的 IP 地址池。
    L2AdvertisementL2Advertisement配置如何通过 ARP/NDP（第 2 层）通告地址池中的 IP。
    BGPPeerBGPPeer定义 MetalLB 用于建立路由会话的 BGP peer（第 3 层）。
    BGPAdvertisementBGPAdvertisement指定通过 BGP 通告哪些 IPAddressPools，以及使用哪些策略。
    BFDProfileBFDProfile可选；定义双向转发检测参数，以便更快地检测 BGP 故障。

    IPAddressPool

    定义 MetalLB 可分配给 Service.type=LoadBalancer. 的 IP 范围。

    apiVersion: metallb.io/v1beta1
kind: IPAddressPool
metadata:
  name: production-pool
  namespace: metallb-system
spec:
  addresses:
    - 192.168.10.100-192.168.10.150
  autoAssign: true
    1. 一个或多个 CIDR 或范围。
    2. 默认情况下，MetalLB 会从任何有可用地址的已配置地址池中分配 IP。这可能导致为不需要使用“昂贵”地址的 Service 分配此类地址。 要避免这种情况，可以将 autoAssign 标志设为 false，以禁用该地址池的自动分配。

    L2Advertisement

    用于第 2 层模式，此模式下 MetalLB 通过 ARP/NDP 通告 IP。

    apiVersion: metallb.io/v1beta1
kind: L2Advertisement
metadata:
  name: l2-adv
  namespace: metallb-system
spec:
  ipAddressPools:
    - production-pool
    1. 将通告其 IP 的地址池列表。

    BGPPeer

    apiVersion: metallb.io/v1beta1
kind: BGPPeer
metadata:
  name: peer1
  namespace: metallb-system
spec:
  peerAddress: 10.0.0.1
  peerASN: 64512
  myASN: 64513
  holdTime: 90s
  keepaliveTime: 30s
  nodeSelectors:
    - matchLabels:
        alertmanager: 'true'
    1. 对等路由器的 IP 地址。
    2. 对等端的 ASN。
    3. MetalLB 使用的 ASN。
    4. holdTime / keepaliveTime：BGP 会话的可选计时器。
    5. 可以在配置中使用 peer 的 node-selectors 属性，将 peer 限定到特定节点。

    BGPAdvertisement

    控制如何通过 BGP 通告地址池中的 IP。

    apiVersion: metallb.io/v1beta1
kind: BGPAdvertisement
metadata:
  name: bgp-adv
  namespace: metallb-system
spec:
  ipAddressPools:
    - production-pool
  aggregationLength: 32
  communities:
    - no-export
    1. 要通告的地址池。
    2. 路由聚合前缀长度。
    3. BGP 社区属性。

    BFDProfile（可选）

    用于定义 BGP peer 的 BFD（双向转发检测）参数。

    apiVersion: metallb.io/v1beta1
kind: BFDProfile
metadata:
  name: fast-failover
spec:
  receiveInterval: 300
  transmitInterval: 300
  detectMultiplier: 3

    约束和限制

    外部地址的 IP 资源必须满足以下条件：

    • 外部地址池必须与可用节点通过二层（L2）互联。

    • IP 必须可供平台使用，且不能包含物理网络中已在使用的 IP，例如网关 IP。

    • 不能与集群使用的网络重叠，包括 Cluster CIDR、Service CIDR、子网等。

    • 在双栈环境中，确保同一外部地址池中同时存在 IPv4 和 IPv6 地址，且两者的数量均大于 0。否则，双栈 LoadBalancer 类型的内部路由将无法获取外部访问地址。

    • 在 IPv6 环境中，节点的 DNS 必须支持 IPv6；否则，MetalLB 插件将无法成功部署。

    安装和卸载 MetalLB Operator

    可以通过 Alauda Container Platform Web 控制台中的集群插件安装 Operator。

    1. 导航到 Administrator -> Marketplace -> Cluster Plugin
    2. 输入关键字 MetalLB 或 Load Balancer，查找 Alauda Container Platform Load Balancer 插件（重命名之前发布的软件包显示为 Alauda Container Platform Load Balancer for MetalLB）。
    3. 点击 ⋮，然后点击 Install。
    4. 安装完成后，点击 ⋮，然后点击 Uninstall。

    配置组件放置

    安装 MetalLB 集群插件后，直接在 metallb-system 命名空间中的 MetalLB 自定义资源上配置组件放置。安装期间，如果该资源不存在，集群插件会创建该资源；controller 和 speaker 的调度设置由此资源管理。

    apiVersion: metallb.io/v1beta1
kind: MetalLB
metadata:
  name: metallb
  namespace: metallb-system
spec:
  controllerNodeSelector:
    dedicated: ingress
  controllerTolerations:
    - key: dedicated
      operator: Equal
      value: ingress
      effect: NoSchedule
  nodeSelector:
    dedicated: ingress
  speakerTolerations:
    - key: dedicated
      operator: Equal
      value: ingress
      effect: NoSchedule

    controllerNodeSelector 和 controllerTolerations 适用于 MetalLB controller Deployment。nodeSelector 和 speakerTolerations 适用于 MetalLB speaker DaemonSet。默认情况下，这些字段为空，因此 MetalLB 不容忍任何额外的污点。

    在二层模式下，L2Advertisement.spec.nodeSelectors 配置决定哪些 speaker 可以通告 VIP。将其与 MetalLB 组件放置和 IngressNginx.spec.controller.nodeSelector 保持一致，以便 speaker 可以从运行 Ingress Nginx pod 的节点通告 VIP。

    调整日志级别

    在 MetalLB 自定义资源上设置 spec.logLevel，以调整 controller 和 speaker 使用的日志级别：

    spec:
  logLevel: warn

    支持的值包括 all、debug、info、warn、error 和 none。默认值为 info。

    升级 MetalLB Operator

    通过 Alauda Container Platform Web 控制台中的上传软件包升级 MetalLB Operator。

    1. 导航至 Administrator -> Marketplace -> Upload Package

    详细了解上传软件包。