配置 Service

在 Kubernetes 中,Service 是一种用于暴露运行在集群中一个或多个 Pod 上的网络应用的方式。

为什么需要 Service

  1. Pod 有自己的 IP,但:

    • Pod IP 不稳定(Pod 重新创建后会发生变化)。

    • 直接访问 Pod 的可靠性较差。

  2. Service 通过以下方式解决这一问题:

    • 提供稳定的 IP 和 DNS 名称。

    • 自动将流量负载均衡到匹配的 Pod。

ClusterIP 类型 Service 示例:

# simple-service.yaml
apiVersion: v1
kind: Service
metadata:
  name: my-service
spec:
  type: ClusterIP
  selector:
    app.kubernetes.io/name: MyApp
  ports:
    - protocol: TCP
      port: 80
      targetPort: 80
  1. 可用的类型值及其行为为 ClusterIPNodePortLoadBalancerExternalName
  2. Service 所针对的 Pod 集合通常由你定义的 selector 决定。
  3. Service 端口。
  4. 将 Service 的 targetPort 绑定到 Pod 的 containerPort。此外,你还可以引用 pod 容器下的 port.name

Headless Services

有时你并不需要负载均衡和单个 Service IP。在这种情况下,你可以创建所谓的 Headless Service:

spec:
  clusterIP: None

Headless Service 适用于以下场景:

  • 你希望发现单个 Pod IP,而不仅仅是一个 Service IP。

  • 你需要直接连接到每个 Pod(例如 Cassandra 或 StatefulSet 这类数据库)。

  • 你正在使用 StatefulSet,并且每个 Pod 都必须拥有稳定的 DNS 名称。

使用 Web 控制台创建 service

  1. 进入 Container Platform

  2. 在左侧导航栏中,单击 Network > Services

  3. 单击 Create Service

  4. 参考以下说明配置相关参数。

    参数说明
    虚拟 IP 地址如果启用,将为此 Service 分配一个 ClusterIP,可用于集群内的服务发现。
    如果禁用,将创建一个 Headless Service,通常由 StatefulSet 使用。
    类型
    • ClusterIP:将 Service 暴露在集群内部 IP 上。选择此值后,Service 只能从集群内部访问。
    • NodePort:将 Service 暴露到每个 Node 的 IP 上的一个静态端口(NodePort)。
    • ExternalName:将 Service 映射到 externalName 字段的内容(例如主机名 api.foo.bar.example)。
    • LoadBalancer:使用外部负载均衡器将 Service 暴露到外部。Kubernetes 不直接提供负载均衡组件;你必须自行提供,或者将你的 Kubernetes 集群与云服务商集成。
    目标组件
    • Workload:Service 将把请求转发到一个特定的 workload,该 workload 匹配诸如 project.cpaas.io/name: projectnameservice.cpaas.io/name: deployment-name 这样的标签。

    • Virtualization:Service 将把请求转发到一个特定的虚拟机或虚拟机组。

    • Label Selector:Service 将把请求转发到具有指定标签的某一类 workload,例如 environment: release
    端口用于配置此 Service 的端口映射。在以下示例中,集群中的其他 Pod 可以通过虚拟 IP(如果已启用)和 TCP 端口 80 调用该 Service;访问请求将被转发到目标组件的 Pod 对外暴露的 TCP 端口 6379redis
    • Protocol:Service 使用的协议,支持的协议包括:TCPUDPHTTPHTTP2HTTPSgRPC
    • Service Port:Service 在集群内暴露的端口号,即 Port,例如 80
    • Container Port:service 端口映射到的目标端口号(或名称),即 targetPort,例如 6379redis
    • Service Port Name:将自动生成,格式为 <protocol>-<service port>-<container port>,例如:tcp-80-6379tcp-80-redis
    会话亲和性基于源 IP 地址(ClientIP)的会话亲和性。如果启用,来自同一 IP 地址的所有访问请求在负载均衡期间都会保留在同一台服务器上,确保来自同一客户端的请求被转发到同一台服务器进行处理。
  5. 单击 Create

使用 CLI 创建 service

kubectl apply -f simple-service.yaml

基于现有的 my-app deployment 资源创建一个 service。

kubectl expose deployment my-app \
  --port=80 \
  --target-port=8080 \
  --name=test-service \
  --type=NodePort \
  -n p1-1

示例:访问集群内的应用

# access-internal-demo.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
        - name: nginx
          image: nginx:1.25
          ports:
            - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: nginx-clusterip
spec:
  type: ClusterIP
  selector:
    app: nginx
  ports:
    - port: 80
      targetPort: 80
  1. 应用此 YAML:

    kubectl apply -f access-internal-demo.yaml
  2. 启动另一个 Pod:

    kubectl run test-pod --rm -it --image=busybox -- /bin/sh
  3. test-pod Pod 中访问 nginx-clusterip service:

    wget -qO- http://nginx-clusterip
    # or using DNS records created automatically by Kubernetes: <service-name>.<namespace>.svc.cluster.local
    wget -qO- http://nginx-clusterip.default.svc.cluster.local

你应该会看到一个包含 "Welcome to nginx!" 等文本的 HTML 响应。

示例:访问集群外的应用

# access-external-demo.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
        - name: nginx
          image: nginx:1.25
          ports:
            - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: nginx-nodeport
spec:
  type: NodePort
  selector:
    app: nginx
  ports:
    - port: 80
      targetPort: 80
      nodePort: 30080
  1. 应用此 YAML:

    kubectl apply -f access-external-demo.yaml
  2. 查看 Pods:

    kubectl get pods -l app=nginx -o wide
  3. curl Service:

    curl http://{NodeIP}:{nodePort}

你应该会看到一个包含 "Welcome to nginx!" 等文本的 HTML 响应。

当然,也可以通过创建一个类型为 LoadBalancer 的 Service,从集群外访问该应用。

注意:请先配置 LoadBalancer service。

# access-external-demo-with-loadbalancer.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
        - name: nginx
          image: nginx:1.25
          ports:
            - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: nginx-lb-service
spec:
  type: LoadBalancer
  selector:
    app: nginx
  ports:
    - port: 80
      targetPort: 80
  1. 应用此 YAML:

    kubectl apply -f access-external-demo-with-loadbalancer.yaml
  2. 获取外部 IP 地址:

    kubectl get svc nginx-lb-service
    NAME            TYPE           CLUSTER-IP       EXTERNAL-IP     PORT(S)        AGE
    nginx-service   LoadBalancer   10.0.2.57        34.122.45.100   80:30005/TCP   30s

    EXTERNAL-IP 是你从浏览器访问的地址。

    curl http://34.122.45.100

你应该会看到一个包含 "Welcome to nginx!" 等文本的 HTML 响应。

如果 EXTERNAL-IP 为 pending,则说明该 LoadBalancer service 当前未部署在集群中。

ExternalName 类型的 Service 示例

apiVersion: v1
kind: Service
metadata:
  name: my-external-service
  namespace: default
spec:
  type: ExternalName
  externalName: example.com
  1. 应用此 YAML:

    kubectl apply -f external-service.yaml
  2. 尝试在集群中的 Pod 内进行解析:

    kubectl run test-pod --rm -it --image=busybox -- sh

    然后:

    nslookup my-external-service.default.svc.cluster.local

你会看到它解析为 example.com

负载均衡器类型 Service 注解

AWS EKS 集群

有关 EKS LoadBalancer Service 注解的详细说明,请参阅 Annotation Usage Documentation

KeyValueDescription
service.beta.kubernetes.io/aws-load-balancer-typeexternal: 使用官方 AWS LoadBalancer Controller。指定 LoadBalancer 类型使用的 controller。

注意:请提前联系平台管理员部署 AWS LoadBalancer Controller。
service.beta.kubernetes.io/aws-load-balancer-nlb-target-type
  • instance:流量将通过 NodePort 发送到 pods。
  • ip:流量将直接路由到 pods(集群必须使用 Amazon VPC CNI)。
指定流量到达 pods 的方式。
service.beta.kubernetes.io/aws-load-balancer-scheme
  • internal:私有网络。
  • internet-facing:公网。
指定使用私有网络还是公网。
service.beta.kubernetes.io/aws-load-balancer-ip-address-type
  • IPv4
  • dualstack
指定支持的 IP 地址栈。

华为云 CCE 集群

有关 CCE LoadBalancer Service 注解的详细说明,请参阅 Annotation Usage Documentation

KeyValueDescription
kubernetes.io/elb.id填写云负载均衡器的 ID,必须使用已存在的云负载均衡器。
kubernetes.io/elb.autocreate示例:{"type":"public","bandwidth_name":"cce-bandwidth-1551163379627","bandwidth_chargemode":"bandwidth","bandwidth_size":5,"bandwidth_sharetype":"PER","eip_type":"5_bgp","available_zone":["cn-north-4b"],"l4_flavor_name":"L4_flavor.elb.s1.small"}

注意:请先阅读 填写说明,并根据需要调整示例参数。
要创建的新云负载均衡器。
kubernetes.io/elb.subnet-id集群所在子网的 ID。当 Kubernetes 版本为 1.11.7-r0 或更低时,创建新的云负载均衡器时必须填写此字段。
kubernetes.io/elb.class
  • union:共享负载均衡。
  • performance:独享负载均衡,仅支持 Kubernetes 1.17 及以上版本。
指定要创建的新云负载均衡器类型,请参阅 独享型与共享型弹性负载均衡的区别
kubernetes.io/elb.enterpriseID指定新创建的云负载均衡器所属的企业项目。

Azure AKS 集群

有关 AKS LoadBalancer Service 注解的详细说明,请参阅 Annotation Usage Documentation

KeyValueDescription
service.beta.kubernetes.io/azure-load-balancer-internal
  • true:私有网络。
  • false:公网。
指定使用私有网络还是公网。

Google GKE 集群

有关 GKE LoadBalancer Service 注解的详细说明,请参阅 Annotation Usage Documentation

KeyValueDescription
networking.gke.io/load-balancer-typeInternal指定使用私有网络。
cloud.google.com/l4-rbsenabled默认为公网。如果配置此参数,流量将直接路由到 pods。

使用 MetalLB BGP 和 Local Traffic Policy 的 LoadBalancer 示例

此示例演示如何使用 MetalLB BGP 模式和 externalTrafficPolicy: Local 配置一个 LoadBalancer Service,以实现无额外网络跳转的主动-主动负载均衡。

优势

  • 主动-主动负载均衡:流量同时分布到多个节点
  • 无额外网络跳转:直接路由到 pods,不经过中间节点转发
  • 更好的性能externalTrafficPolicy: Local 可保留源 IP 并降低延迟
  • 高可用性:BGP 路由通告可确保流量到达健康节点

前提条件

在配置 LoadBalancer Service 之前,请确保你已完成以下准备:

  1. 已部署 MetalLB:安装说明请参阅 创建外部 IP 地址池
  2. 已配置 BGP Peer:BGP 配置请参阅 创建 BGP Peer
  3. 外部 IP 地址池:配置带有 BGPAdvertisement 的 IPAddressPool

步骤

使用 externalTrafficPolicy: Local 部署你的应用并创建 LoadBalancer Service:

# nginx-loadbalancer-local-demo.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
        - name: nginx
          image: nginx:1.25
          ports:
            - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: nginx-loadbalancer-local
spec:
  type: LoadBalancer
  externalTrafficPolicy: Local
  selector:
    app: nginx
  ports:
    - port: 80
      targetPort: 80

关键配置点

externalTrafficPolicy: Local

externalTrafficPolicy: Local 设置提供以下优势:

  • 保留源 IP:保留客户端源 IP,便于正确记录日志并应用安全策略
  • 直接 Pod 路由:流量直接到达 Pod,而不会经过节点级转发

使用 BGP 的 LoadBalancer

在 MetalLB 的 BGP 模式下:

  • 路由由 BGPAdvertisement 中指定的节点进行通告
  • BGP Peer 会接收这些通告并据此路由流量
  • BGPPeer 与 BGPAdvertisement 之间的节点选择器对齐可确保路由一致

部署步骤

  1. 部署应用

    kubectl apply -f nginx-loadbalancer-local-demo.yaml
  2. 验证 LoadBalancer Service

    kubectl get svc nginx-loadbalancer-local

    预期输出:

    NAME                     TYPE           CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
    nginx-loadbalancer-local LoadBalancer   10.0.2.57       4.4.4.3       80:30005/TCP   30s
  3. 测试 service

    curl http://4.4.4.3

验证

  • 监控 service endpointskubectl get endpoints nginx-loadbalancer-local
  • 检查 service 状态kubectl describe svc nginx-loadbalancer-local