Tasks for Ingress-Nginx

前提条件

安装 ingress-nginx

最大连接数

Max-Worker-Connections

请求超时

配置请求超时

会话亲和性(Sticky Sessions)

配置粘性会话

头部修改

操作链接
在请求中设置头部proxy-set-header
在请求中移除头部在请求中设置空头部
在响应中设置头部使用 configuration-snippets 配合 more-set-header 指令
在响应中移除头部hide-headers

URL 重写

rewrite

HSTS(HTTP 严格传输安全)

配置 HSTS

速率限制

配置速率限制

WAF

modsecurity

Forward-header 控制

x-forwarded-prefix-header

HTTPS

TLS 重新加密并验证后端证书

验证后端 https 证书

TLS 边缘终止

后端协议

直通(Passthrough)

ssl-passthrough

默认证书

default-ssl-certificate

在 IngressNginx 中添加 Pod 注解

添加 pod 注解

保留源 IP

当流量经过负载均衡器或代理时,由于 NAT(网络地址转换),原始客户端 IP 可能会丢失。保留源 IP 对于以下场景非常重要:

  • 访问控制和安全策略
  • 准确的日志记录和分析
  • 基于客户端的速率限制
  • 基于地理位置的路由

通过 HAProxy Proxy Protocol

工作原理

PROXY protocol 是一种网络协议,用于在代理 TCP 连接时保留客户端连接信息。它通过在 TCP 连接前添加一个头部,包含原始源 IP 和端口来实现。

流量流程:

  1. 客户端连接到 HAProxy 负载均衡器
  2. HAProxy 在连接中添加包含原始客户端 IP 的 PROXY protocol 头部
  3. Ingress-Nginx 接收连接并解析 PROXY protocol 头部
  4. Ingress-Nginx 从头部提取真实客户端 IP
  5. 后端应用在 X-Forwarded-ForX-Real-IP 头部中接收到正确的客户端 IP

优点:

  • 适用于任何支持 PROXY protocol 的负载均衡器(如 HAProxy、AWS NLB 等)
  • 跨多个代理层保留源 IP
  • 不影响路由或节点选择

注意事项:

  • 负载均衡器和 Ingress-Nginx 都必须配置为使用 PROXY protocol
  • 一旦启用,所有流量必须使用 PROXY protocol(混合使用 PROXY 和非 PROXY 流量会导致连接失败)

配置方法

配置 HAProxy 负载均衡器发送 PROXY protocol 头部,然后部署启用 proxy-protocol 支持的 ingress-nginx:

apiVersion: ingress-nginx.alauda.io/v1
kind: IngressNginx
metadata:
  name: demo
  namespace: ingress-nginx-operator
spec:
  controller:
    config:
      use-proxy-protocol: "true" # 启用 proxy-protocol 支持
frontend tcp_front_80
    bind *:80
    mode tcp
    default_backend ingress_tcp_80
    
frontend tcp_front_443
    bind *:443
    mode tcp
    default_backend ingress_tcp_443
    
backend ingress_tcp_80
    mode tcp
    balance roundrobin
    server node1 192.168.133.46:80 check send-proxy-v2
    
backend ingress_tcp_443
    mode tcp
    balance roundrobin
    server node1 192.168.133.46:443 check send-proxy-v2

更多详情请参见 PROXY protocol 文档

注意:HAProxy 可以使用 TCP 模式转发流量而不处理 TLS 证书。由于 PROXY protocol 工作在 TCP 层,你可以让 Ingress-Nginx 直接处理 HTTPS 终止和证书管理,无需在 HAProxy 中配置证书。

通过 MetalLB 配合 externalTrafficPolicy=Local

工作原理

使用 Kubernetes Service 类型为 LoadBalancer 时,默认行为(externalTrafficPolicy: Cluster)会执行源 NAT,将客户端 IP 替换为节点 IP。设置 externalTrafficPolicy: Local 通过以下方式保留源 IP:

  1. 直接路由:流量只路由到接收流量的节点上的 Pod
  2. 无 SNAT:kube-proxy 不执行源 NAT,保留原始客户端 IP
  3. 健康检查:只有本地 Pod 健康的节点会被包含在负载均衡池中

流量流程:

  1. 客户端连接到 MetalLB 虚拟 IP
  2. MetalLB 将流量直接路由到有 Ingress-Nginx Pod 的节点
  3. 流量直接到达本地 Ingress-Nginx Pod,无 SNAT
  4. Ingress-Nginx 看到真实客户端 IP
  5. 后端应用在头部接收到正确的客户端 IP

优点:

  • 配置简单,无需额外协议
  • 原生 Kubernetes 功能
  • 延迟更低(无额外代理跳转)

注意事项:

  • 负载分布不均:流量只能到达有本地 Pod 的节点,可能导致负载不均衡
  • Pod 调度:Ingress-Nginx Pod 必须调度到 MetalLB 可路由的节点(使用 nodeSelector 确保一致)
  • 健康检查行为:如果所有本地 Pod 都不健康,节点将完全从负载均衡中移除

配置方法

部署带有 externalTrafficPolicy: Local 的 ingress-nginx,并确保 Pod 调度与 MetalLB 配置一致:

apiVersion: ingress-nginx.alauda.io/v1
kind: IngressNginx
metadata:
  name: demo
  namespace: ingress-nginx-operator
spec:
  controller:
    service:
      type: LoadBalancer                    # 使用 MetalLB 提供 LoadBalancer 服务
      externalTrafficPolicy: Local          # 通过只路由到本地 Pod 保留源 IP
      annotations:
        metallb.universe.tf/address-pool: demo-pool  # 指定 MetalLB 使用的 IP 地址池
    nodeSelector:                           # 仅在匹配这些标签的节点上调度 Pod。此选择器必须与 MetalLB 地址池的节点选择器匹配
      ingress-nginx: "true"  

重要nodeSelector 必须与 MetalLB 地址池配置中的节点匹配,确保 Ingress-Nginx Pod 调度到 MetalLB 能路由到的节点。

更多详情请参见 externalTrafficPolicy 文档