配置 ALB

WARNING

ALB 已废弃。请改用 ingress-nginx-operatorenvoy-gateway

ALB

ALB 是一个表示负载均衡器的自定义资源。默认嵌入到所有集群中的 alb-operator 会监听对 ALB 资源的创建、更新和删除操作,并据此创建相应的 Deployment 和 Service。

对于每个 ALB,都有一个对应的 Deployment,它会监听附加到该 ALB 的所有 Frontend 和 Rule,并根据这些配置将请求路由到后端。

前提条件

负载均衡器 的高可用需要一个 VIP。请参阅 配置 VIP

配置 ALB

ALB 配置由三部分组成。

# test-alb.yaml
apiVersion: crd.alauda.io/v2beta1
kind: ALB2
metadata:
  name: alb-demo
  namespace: cpaas-system
spec:
  address: 192.168.66.215
  config:
    vip:
      enableLbSvc: false
      lbSvcAnnotations: {}
    networkMode: host
    nodeSelector:
      cpu-model.node.kubevirt.io/Nehalem: 'true'
    replicas: 1
    resources:
      alb:
        limits:
          cpu: 200m
          memory: 256Mi
        requests:
          cpu: 200m
          memory: 256Mi
      limits:
        cpu: 200m
        memory: 256Mi
      requests:
        cpu: 200m
        memory: 256Mi
    projects:
      - ALL_ALL
  type: nginx

资源相关配置

资源相关字段描述了 alb 的部署配置。

字段类型描述
.spec.config.nodeSelectormap[string]stringalb 的节点选择器
.spec.config.replicasint,optional default 3alb 的副本数
.spec.config.resources.limitsk8s container-resource,optionalalb 的 nginx 容器限制
.spec.config.resources.requestsk8s container-resource,optionalalb 的 nginx 容器请求
.spec.config.resources.alb.limitsk8s container-resource,optionalalb 的 alb 容器限制
.spec.config.resources.alb.requestsk8s container-resource,optionalalb 的 alb 容器请求
.spec.config.antiAffinityKeystring,optional default localk8s antiAffinityKey

网络配置

网络字段描述如何访问 ALB。例如,在 host 模式下,alb 将使用 hostnetwork,你可以通过节点 IP 访问 ALB。

字段类型描述
.spec.config.networkModestring: host or container, optional, default hostcontainer 模式下,operator 会创建一个 LoadBalancer Service,并使用其地址作为 ALB 地址。
.spec.addressstring,required你可以手动指定 alb 的地址
.spec.config.vip.enableLbSvcbool, optionalcontainer 模式下会自动设为 true。
.spec.config.vip.lbSvcAnnotationsmap[string]string, optionalLoadBalancer Service 的额外 annotations。

项目配置

字段类型
.spec.config.projects[]string,required
.spec.config.portProjectsstring,optional
.spec.config.enablePortProjectbool,optional

将 ALB 添加到某个项目中意味着:

  1. 在 Web UI 中,只有该项目内的用户才能找到并配置这个 ALB。
  2. 该 ALB 将处理属于该项目的 ingress 资源。请参阅 ingress-sync
  3. 在 Web UI 中,在项目 X 中创建的规则无法在项目 Y 下被找到或配置。

如果你启用了端口项目并为项目分配了一个端口范围,这意味着:

  1. 你不能创建不属于该项目分配端口范围的端口。

可调整配置

在 alb cr 中有一些全局配置可以调整。

ALB 上的操作

创建

使用 Web 控制台

Web UI 中公开了一些常见配置。按照以下步骤创建负载均衡器:

  1. 导航到 管理员
  2. 在左侧边栏中,点击 网络管理 > 负载均衡器
  3. 点击 创建负载均衡器

Web UI 中的每个输入项都对应 CR 的一个字段:

参数描述
Assigned Address.spec.address
Allocated ByInstance 表示项目模式,你可以在下方选择项目;port 表示端口项目模式,你可以在创建 alb 后分配端口范围。
使用 CLI
kubectl apply -f test-alb.yaml -n cpaas-system

更新

使用 Web 控制台
NOTE

更新负载均衡器会导致 3 到 5 分钟的服务中断。请为此操作选择合适的时间!

  1. 进入 管理员

  2. 在左侧导航栏中,点击 网络管理 > 负载均衡器

  3. 点击 ⋮ > 更新

  4. 按需更新网络和资源配置。

    • 请根据业务需求合理设置规格。你也可以参考相关的 如何合理分配 CPU 和内存资源 作为指导。

    • 内部路由 仅支持从 Disabled 状态更新为 Enabled 状态。

  5. 点击 更新

删除

使用 Web 控制台
NOTE

删除负载均衡器后,关联的端口和规则也会被删除,且无法恢复。

  1. 进入 管理员

  2. 在左侧导航栏中,点击 网络管理 > 负载均衡器

  3. 点击 ⋮ > 删除,并确认。

使用 CLI
kubectl delete alb2 alb-demo -n cpaas-system

Frontend

Frontend 是一个定义 ALB 监听端口和协议的自定义资源。
支持的协议:L7(http|https|grpc|grpcs)和 L4(tcp|udp)。

  • 在 L4 Proxy 中,使用 Frontend 直接配置后端 Service。
  • 在 L7 Proxy 中,使用 Frontend 配置监听端口,并使用 rule 配置后端 Service。

如果你需要添加 HTTPS 监听端口,还应联系管理员,为当前项目分配一个 TLS 证书用于加密。

前提条件

先创建一个 ALB。

配置 Frontend

# alb-frontend-demo.yaml
apiVersion: crd.alauda.io/v1
kind: Frontend
metadata:
  labels:
    alb2.cpaas.io/name: alb-demo
  name: alb-demo-00080
  namespace: cpaas-system
spec:
  port: 80
  protocol: http
  certificate_name: ''
  backendProtocol: 'http'
  serviceGroup:
    session_affinity_policy: ''
    services:
      - name: hello-world
        namespace: default
        port: 80
        weight: 100
  1. alb label:必填,表示该 Frontend 所属的 ALB 实例。

  2. frontend name:格式为 $alb_name-$port

  3. port:监听的端口。

  4. protocol:该端口使用的协议。

    • L7 协议为 https|http|grpcs|grpc,L4 协议为 tcp|udp。
    • 选择 HTTPS 时,必须添加证书;gRPC 协议可选添加证书。
    • 选择 gRPC 协议时,后端协议默认也是 gRPC,不支持会话保持。如果为 gRPC 协议设置了证书,负载均衡器将卸载 gRPC 证书,并将未加密的 gRPC 流量转发到后端 Service。
    • 如果使用 Google GKE 集群,同一 container network type 的负载均衡器不能同时具有 TCP 和 UDP 监听协议。
  5. certificate_name:用于 grpcs 和 https 协议的默认证书,格式为 $secret_ns/$secret_name

  6. backendProtocol:后端 Service 使用的协议。

  7. 默认 serviceGroup

    • L4 proxy:必填。ALB 直接将流量转发到默认 service group。
    • L7 proxy:可选。ALB 会先匹配该 Frontend 上的 Rules;如果都不匹配,则回退到默认的 serviceGroup
  8. session_affinity_policy

Frontend 上的操作

创建

使用 Web 控制台

  1. 前往 容器平台

  2. 在左侧导航栏中,点击 网络 > 负载均衡

  3. 点击负载均衡器名称,进入详情页。

  4. 点击 添加端口

Web UI 中的每个输入项都对应 CR 的一个字段

参数描述
Session Affinity.spec.serviceGroup.session_affinity_policy
使用 CLI
kubectl apply -f alb-frontend-demo.yaml -n cpaas-system

后续操作

对于来自 HTTP、gRPC 和 HTTPS 端口的流量,除了默认的内部路由组外,你还可以设置更多不同的后端 Service 匹配 规则。负载均衡器会先根据已设置的规则匹配对应的后端 Service;如果规则匹配失败,则会继续匹配前述内部路由组对应的后端 Service。

相关操作

你可以点击列表页右侧的 ⋮ 图标,或在详情页右上角点击 操作,按需更新默认路由或删除监听端口。

NOTE

如果负载均衡器的资源分配方式是 Port,则只有管理员可以在 管理员 视图中删除相关监听端口。

Rule

Rule 是一个定义 ALB 如何匹配和处理传入请求的 Custom Resource(CR)。

ALB 处理的 Ingress 可以自动转换为规则

前提条件

下面是一个示例 Rule,帮助你快速了解如何使用规则。

NOTE

rule 必须通过 label 附加到 frontend 和 alb 上。

apiVersion: crd.alauda.io/v1
kind: Rule
metadata:
  labels:
    alb2.cpaas.io/frontend: alb-demo-00080
    alb2.cpaas.io/name: alb-demo
  name: alb-demo-00080-test
  namespace: cpaas-system
spec:
  backendProtocol: 'https'
  certificate_name: 'a/b'
  dslx:
    - type: URL
      values:
        - - STARTS_WITH
          - /
  priority: 4
  serviceGroup:
    services:
      - name: hello-world
        namespace: default
        port: 80
        weight: 100
  1. 必填,表示该 Rule 所属的 Frontend
  2. 必填,表示该 Rule 所属的 ALB。
  3. backendProtocol
  4. certificate_name
  5. dslx
  6. 数值越小,优先级越高。
  7. serviceGroup

使用 dslx 和优先级匹配请求

dslx

DSLX 是一种用于描述匹配条件的领域特定语言。
例如,下面的规则会匹配满足以下全部条件的请求:

  • url 以 /app-a /app-b 开头
  • method 是 post
  • url param 的 group 为 vip
  • host 是 *.app.com
  • header 的 location 是 east-1 或 east-2
  • cookie 名称为 uid
  • source IP 来自 1.1.1.1-1.1.1.100
dslx:
  - type: METHOD
    values:
      - - EQ
        - POST
  - type: URL
    values:
      - - STARTS_WITH
        - /app-a
      - - STARTS_WITH
        - /app-b
  - type: PARAM
    key: group
    values:
      - - EQ
        - vip
  - type: HOST
    values:
      - - ENDS_WITH
        - .app.com
  - type: HEADER
    key: LOCATION
    values:
      - - IN
        - east-1
        - east-2
  - type: COOKIE
    key: uid
    values:
      - - EXIST
  - type: SRC_IP
    values:
      - - RANGE
        - '1.1.1.1'
        - '1.1.1.100'

priority

Priority 是一个范围为 0 到 10 的整数,数值越小表示优先级越高。要在 ingress 中配置规则的优先级,可以使用以下 annotation 格式:

# alb.cpaas.io/ingress-rule-priority-$rule_index-$path_index
alb.cpaas.io/ingress-rule-priority-0-0: '10'

对于规则,只需直接在 .spec.priority 中设置一个整数值即可。

动作

当请求匹配到某条规则后,你可以对该请求应用以下动作:

功能描述链接
Timeout配置请求的超时设置。timeout
Redirect将传入请求重定向到指定 URL。redirect
CORS为应用启用跨域资源共享(CORS)。cors
Header Modification允许修改请求或响应头。header modification
URL Rewrite在转发前重写传入请求的 URL。url-rewrite
WAF集成 Web Application Firewall(WAF)以增强安全性。waf
OTEL启用 OpenTelemetry(OTEL)用于分布式追踪和监控。otel
Keepalive启用或禁用应用的 keepalive 功能。keepalive

后端

backend protocol

默认情况下,后端协议设置为 HTTP。如果你想使用 TLS 重新加密,可以将其配置为 HTTPS。

Service Group 和 Session Affinity Policy

你可以在一条规则中配置一个或多个 Service。

默认情况下,ALB 使用轮询(RR)算法在后端 Service 之间分发请求。不过,你可以为单个 Service 分配权重,或选择其他负载均衡算法。

有关更多详情,请参阅 负载均衡算法

Rule 上的操作

使用 Web 控制台

  1. 进入 容器平台
  2. 在左侧导航栏中,点击 网络 > 负载均衡
  3. 点击负载均衡器名称。
  4. 选择监听端口名称。
  5. 点击 添加规则
  6. 参考以下说明配置相关参数。
  7. 点击 添加

Web UI 中的每个输入项都对应 CR 的一个字段

使用 CLI

kubectl apply -f alb-rule-demo.yaml -n cpaas-system

Https

如果 frontend(ft)协议是 HTTPS 或 GRPCS,规则也可以配置为使用 HTTPS。

你可以在规则或 ingress 中指定证书,以匹配该特定端口的证书。

支持终止,并且如果后端协议是 HTTPS,则可以进行重新加密。但是,你不能为与后端 Service 的通信指定证书。

Ingress 中的证书 Annotation

可以通过 annotation 跨 namespace 引用证书。

alb.networking.cpaas.io/tls: qq.com=cpaas-system/dex.tls,qq1.com=cpaas-system/dex1.tls

Rule 中的证书

.spec.certificate_name 中,格式为 $secret_namespace/$secret_name

TLS 模式

Edge 模式

在 edge 模式下,客户端通过 HTTPS 与 ALB 通信,而 ALB 使用 HTTP 协议与后端 Service 通信。
要实现这一点:

  1. 创建使用 https 协议的 ft
  2. 创建后端协议为 http 的规则,并通过 .spec.certificate_name 指定证书
Re-encrypt 模式

在 re-encrypt 模式下,客户端通过 HTTPS 与 ALB 通信,而 ALB 使用 HTTPS 协议与后端 Service 通信。
要实现这一点:

  1. 创建使用 https 协议的 ft
  2. 创建后端协议为 https 的规则,并通过 .spec.certificate_name 指定证书

Ingress

Ingress 同步

每个 ALB 都会创建一个同名的 IngressClass,并处理同一项目内的 ingress。

当 ingress namespace 带有类似 cpaas.io/project: demo 的 label 时,表示该 ingress 属于 demo 项目。

.spec.config.projects 配置中包含项目名 demo 的 ALB,会自动将这些 ingress 转换为规则。

NOTE

ALB 会监听 ingress,并自动创建 Frontend 或 Rule。source 字段定义如下:

  1. spec.source.type 当前仅支持 ingress
  2. spec.source.name 是 ingress 名称。
  3. spec.source.namespace 是 ingress namespace。
SSL 策略

对于未配置证书的 ingress,ALB 提供了使用默认证书的策略。

你可以使用以下设置配置 ALB 自定义资源:

  • .spec.config.defaultSSLStrategy:定义无证书 ingress 的 SSL 策略
  • .spec.config.defaultSSLCert:以 $secret_ns/$secret_name 格式设置默认证书

可用的 SSL 策略:

  • Never:不在 HTTPS 端口上创建规则(默认行为)
  • Always:使用默认证书在 HTTPS 端口上创建规则

日志和监控

结合日志和监控数据,你可以快速识别并解决负载均衡器问题。

查看日志

  1. 进入 管理员

  2. 在左侧导航栏中,点击 网络管理 > 负载均衡器

  3. 点击 负载均衡器名称

  4. 日志 选项卡中,从容器的视角查看负载均衡器运行时日志。

监控指标

NOTE

负载均衡器所在的集群必须部署监控服务。

  1. 进入 管理员

  2. 在左侧导航栏中,点击 网络管理 > 负载均衡器

  3. 点击 负载均衡器名称

  4. 监控 选项卡中,从节点的视角查看负载均衡器的指标趋势信息。

    • Usage Rate:当前节点上负载均衡器对 CPU 和内存的实时使用率。

    • Throughput:负载均衡器实例的整体进出流量。

有关监控指标的更多详细信息,请参阅 ALB 监控