配置子网

IP 分配规则

NOTE

如果项目或命名空间分配了多个子网,则会从其中一个子网中随机选择一个 IP 地址。

  • 项目分配:

    • 如果项目未绑定到子网,则该项目下所有命名空间中的 Pod 只能使用默认子网中的 IP 地址。如果默认子网中的 IP 地址不足,Pod 将无法启动。
    • 如果项目已绑定到子网,则该项目下所有命名空间中的 Pod 只能使用该特定子网中的 IP 地址。
  • 命名空间分配:

    • 如果命名空间未绑定到子网,则该命名空间中的 Pod 只能使用默认子网中的 IP 地址。如果默认子网中的 IP 地址不足,Pod 将无法启动。
    • 如果命名空间已绑定到子网,则该命名空间中的 Pod 只能使用该特定子网中的 IP 地址。

Calico 网络

在 Calico 网络中创建子网,以实现对集群内资源更细粒度的网络隔离。

约束和限制

在 IPv6 集群环境中,Calico 网络中创建的子网默认使用 VXLAN 封装。VXLAN 封装所需的端口与 IPIP 封装不同。您需要确保 UDP 端口 4789 已开放。

使用 Calico 网络的示例子网自定义资源(CR)

# test-calico-subnet.yaml
apiVersion: kubeovn.io/v1
kind: Subnet
metadata:
  name: test-calico
spec:
  cidrBlock: 10.1.1.1/24
  default: false
  ipipMode: Always
  natOutgoing: true
  private: false
  protocol: Dual
  v4blockSize: 30
  1. default 为 true 时,使用 VXLAN 封装。
  2. 参见封装模式参数和封装协议参数。
  3. 参见出站流量 NAT 参数。

通过 Web 控制台在 Calico 网络中创建子网

  1. 进入 管理员

  2. 在左侧导航栏中,单击 网络管理 > 子网

  3. 单击 创建子网

  4. 根据以下说明配置相关参数。

    参数描述
    CIDR将子网分配给项目或命名空间后,该命名空间中的容器组会随机使用此 CIDR 范围内的 IP 地址进行通信。
    注意:关于 CIDR 与 BlockSize 的对应关系,请参见 参考内容
    封装协议选择封装协议。双栈模式下不支持 IPIP
    • IPIP:使用 IPIP 协议实现分段间通信。
    • VXLAN (Alpha):使用 VXLAN 协议实现分段间通信。
    • 无封装:通过路由转发直接连接。
    封装模式当封装协议为 IPIPVXLAN 时,必须设置封装模式,默认值为 Always
    • Always:始终启用 IPIP / VXLAN 隧道。
    • Cross Subnet:仅当主机位于不同子网时启用 IPIP / VXLAN 隧道;当主机位于同一子网时,通过路由转发直接连接。
    出站流量 NAT选择是否启用出站流量 NAT(Network Address Translation),默认已启用。
    它主要用于设置子网容器组访问外网时对外暴露的访问地址。
    启用出站流量 NAT 时,将使用主机 IP 作为当前子网容器组的访问地址;未启用时,子网中容器组的 IP 将直接暴露到外部网络。
  5. 单击 确认

  6. 在子网页面中,选择 操作 > 分配项目 / 分配命名空间

  7. 完成配置后,单击 分配

通过 CLI 在 Calico 网络中创建子网

kubectl apply -f test-calico-subnet.yaml

参考内容

CIDR 与 blockSize 的动态匹配关系如下表所示。

CIDRblockSize 大小主机数量单个 IP 池大小
prefix<=16261024+64
16<prefix<=1927256~102432
prefix=202825616
prefix=21292568
prefix=22302564
prefix=23301284
prefix=2430644
prefix=2530324
prefix=2631322
prefix=2731162
prefix=283182
prefix=293142
prefix=303122
prefix=313112
NOTE

不支持前缀大于 31 的子网配置。

Kube-OVN 网络

在 Kube-OVN Overlay 网络中创建子网,以实现对集群内资源更细粒度的网络隔离。

NOTE

平台内置了一个用于节点与 Pod 通信的 join 子网;请避免 join 与新创建子网之间的网段冲突。

使用 Kube-OVN Overlay 网络的示例子网自定义资源(CR)

# test-overlay-subnet.yaml
apiVersion: kubeovn.io/v1
kind: Subnet
metadata:
  name: test-overlay-subnet
spec:
  default: false
  protocol: Dual
  cidrBlock: 10.1.0.0/23
  natOutgoing: true
  excludeIps:
    - 10.1.1.2
  gatewayType: distributed
  gatewayNode: ''
  private: false
  enableEcmp: false
  1. 参见出站流量 NAT 参数。
  2. 参见保留 IP 参数。
  3. 参见网关类型参数。可选值为 distributedcentralized
  4. 参见网关节点参数。
  5. 参见 ECMP 参数。前提是您已联系管理员启用该特性开关。

通过 Web 控制台在 Kube-OVN Overlay 网络中创建子网

  1. 进入 管理员

  2. 在左侧导航栏中,单击 网络管理 > 子网

  3. 单击 创建子网

  4. 根据以下说明配置相关参数。

    参数描述
    网络段将子网分配给项目或命名空间后,此网段内的 IP 将被随机分配给 Pod 使用。
    保留 IP设置的保留 IP 不会自动分配。例如,可将其用作计算组件的 固定 IP
    网关类型选择子网的网关类型以控制出站流量。
    - Distributed:集群中的每台主机都可以充当当前主机上 Pod 的出站节点,从而实现分布式出站。
    - Centralized:集群中的所有 Pod 使用一个或多个特定主机作为出站节点,便于外部审计和防火墙控制。设置多个集中式 网关节点 可实现高可用。
    ECMP (Alpha)选择 Centralized 网关时,可以使用 ECMP 功能。默认情况下,网关以主从模式运行,仅主网关处理流量。启用 ECMP(Equal-Cost Multipath Routing)后,出站流量将通过多条等价路径路由到所有可用的网关节点,从而提高网关总吞吐量。

    注意:请提前启用与 ECMP 相关的功能。
    网关节点使用 Centralized 网关时,选择一个或多个特定主机作为网关节点。
    出站流量 NAT选择是否启用出站流量 NAT(Network Address Translation)。默认已启用。
    它主要用于设置 Pod 访问互联网时对外暴露的访问地址。
    启用出站流量 NAT 时,将使用主机 IP 作为当前子网中 Pod 的访问地址;未启用时,子网内 Pod 的 IP 将直接暴露到外部网络。在这种情况下,建议使用集中式网关。
  5. 单击 确认

  6. 在子网页面中,选择 操作 > 分配项目 / 命名空间

  7. 完成配置后,单击 分配

通过 CLI 在 Kube-OVN Overlay 网络中创建子网

kubectl apply -f test-overlay-subnet.yaml

Underlay 网络

在 Kube-OVN Underlay 网络中创建子网,不仅可以实现更细粒度的资源网络隔离,还能带来更好的性能体验。

INFO

Kube-OVN Underlay 中的容器网络需要物理网络提供支持。请参考最佳实践 准备 Kube-OVN Underlay 物理网络 以确保网络连通性。

使用说明

在 Kube-OVN Underlay 网络中创建子网的一般流程为:添加桥接网络 > 添加 VLAN > 创建子网。

  1. 默认网卡名称。
  2. 按节点配置网卡。

通过 Web 控制台添加桥接网络(可选)

# test-provider-network.yaml
kind: ProviderNetwork
apiVersion: kubeovn.io/v1
metadata:
  name: test-provider-network
spec:
  defaultInterface: eth1
  customInterfaces:
    - interface: eth2
      nodes:
        - node1
  excludeNodes:
    - node2
  1. 默认网卡名称。
  2. 按节点配置网卡。

桥接网络是指一个桥接(bridge),将网卡绑定到该桥接后,它可以转发容器网络流量,从而实现与物理网络的互通。

操作步骤:

  1. 进入 管理员

  2. 在左侧导航栏中,单击 网络管理 > 桥接网络

  3. 单击 添加桥接网络

  4. 根据以下说明配置相关参数。

    注意

    • 目标 Pod 指调度到当前节点上的所有 Pod,或调度到当前节点、且其命名空间绑定了特定子网的 Pod。这取决于桥接网络下子网的作用范围。

    • Underlay 子网中的节点必须有多个网卡,并且桥接网络使用的网卡必须专用于 Underlay,不能承载其他流量,例如 SSH。比如,桥接网络有三台节点,计划使用 eth0、eth0、eth1 专用于 Underlay,那么默认网卡可设置为 eth0,第三台节点的网卡可设置为 eth1。

    参数描述
    默认网卡名称默认情况下,目标 Pod 将使用该网卡作为桥接网卡,与物理网络进行互通。
    按节点配置网卡配置的节点上的目标 Pod 将桥接到指定网卡,而不是默认网卡。
    排除节点当节点被排除时,调度到这些节点上的所有 Pod 都不会桥接到这些节点上的任何网卡。

    注意:排除节点上的 Pod 将无法与物理网络或跨节点容器网络通信,需谨慎避免将相关 Pod 调度到这些节点上。
  5. 单击 添加

通过 CLI 添加桥接网络

kubectl apply -f test-provider-network.yaml

通过 Web 控制台添加 VLAN(可选)

# test-vlan.yaml
kind: Vlan
apiVersion: kubeovn.io/v1
metadata:
  name: test-vlan
spec:
  id: 0
  provider: test-provider-network
  1. VLAN ID。
  2. 桥接网络引用。

平台预配置了一个 ovn-vlan 虚拟 LAN,它将连接到 provider 桥接网络。您也可以配置新的 VLAN 连接到其他桥接网络,从而实现不同 VLAN 之间的网络隔离。

操作步骤:

  1. 进入 管理员

  2. 在左侧导航栏中,单击 网络管理 > VLAN

  3. 单击 添加 VLAN

  4. 根据以下说明配置相关参数。

    参数描述
    VLAN ID该 VLAN 的唯一标识符,用于区分不同的虚拟 LAN。
    桥接网络该 VLAN 将连接到此桥接网络,以便与物理网络进行互通。
  5. 单击 添加

通过 CLI 添加 VLAN

kubectl apply -f test-vlan.yaml

使用 Kube-OVN Underlay 网络的示例子网自定义资源(CR)

# test-underlay-network.yaml
apiVersion: kubeovn.io/v1
kind: Subnet
metadata:
  name: test-underlay-network
spec:
  default: false
  protocol: Dual
  cidrBlock: 11.1.0.0/23
  gateway: 11.1.0.1
  excludeIps:
    - 11.1.0.3
  private: false
  allowSubnets: []
  vlan: test-vlan
  enableEcmp: false
  1. VLAN 引用。

通过 Web 控制台在 Kube-OVN Underlay 网络中创建子网

NOTE

平台还预配置了一个用于 Overlay 传输模式下节点与 Pod 通信的 join 子网。该子网在 Underlay 传输模式下不会被使用,因此务必避免 join 与其他子网之间的 IP 段冲突。

操作步骤:

  1. 进入 管理员

  2. 在左侧导航栏中,单击 网络管理 > 子网

  3. 单击 创建子网

  4. 根据以下说明配置相关参数。

    参数描述
    VLAN该子网所属的 VLAN。
    子网将子网分配给项目或命名空间后,物理子网中的 IP 将被随机分配给 Pod 使用。
    网关上述子网中的物理网关。
    保留 IP指定的保留 IP 不会自动分配。例如,可将其用作计算组件的 固定 IP
  5. 单击 确认

  6. 在子网页面中,选择 操作 > 分配项目 / 命名空间

  7. 完成配置后,单击 分配

通过 CLI 在 Kube-OVN Underlay 网络中创建子网

kubectl apply -f test-underlay-network.yaml

相关操作

当集群中同时存在 Underlay 和 Overlay 子网时,您可以根据需要配置 Underlay 与 Overlay 子网之间的自动互通

子网管理

通过 Web 控制台更新网关

包括更改出站流量方式、网关节点和 NAT 配置。

  1. 进入 管理员

  2. 在左侧边栏中,单击 网络管理 > 子网

  3. 单击子网名称。

  4. 选择 操作 > 更新网关

  5. 更新参数配置;详细信息请参见 参数说明

  6. 单击 确定

通过 CLI 更新网关

kubectl patch subnet test-overlay-subnet --type=json -p='[
  {"op": "replace", "path": "/spec/gatewayType", "value": "centralized"},
  {"op": "replace", "path": "/spec/gatewayNode", "value": "192.168.66.210"},
  {"op": "replace", "path": "/spec/natOutgoing", "value": true},
  {"op": "replace", "path": "/spec/enableEcmp", "value": true}
]'

通过 Web 控制台更新保留 IP

网关 IP 不能从保留 IP 中移除,而其他保留 IP 可以自由编辑、删除或添加。

  1. 进入 管理员

  2. 在左侧边栏中,单击 网络管理 > 子网

  3. 单击子网名称。

  4. 选择 操作 > 更新保留 IP

  5. 完成更新后,单击 更新

通过 CLI 更新保留 IP

kubectl patch subnet test-overlay-subnet --type=json -p='[
  {
    "op": "replace",
    "path": "/spec/excludeIps",
    "value": ["10.1.0.1", "10.1.1.2", "10.1.1.4"]
  }
]'

通过 Web 控制台分配项目

将子网分配给特定项目有助于团队更好地管理和隔离不同项目的网络流量,确保每个项目都拥有足够的网络资源。

  1. 进入 管理员

  2. 在左侧边栏中,单击 网络管理 > 子网

  3. 单击子网名称。

  4. 选择 操作 > 分配项目

  5. 添加或移除项目后,单击 分配

通过 CLI 分配项目

kubectl patch subnet test-overlay-subnet --type=json -p='[
  {
    "op": "replace",
    "path": "/spec/namespaceSelectors",
    "value": [
      {
        "matchLabels": {
          "cpaas.io/project": "cong"
        }
      }
    ]
  }
]'

通过 Web 控制台分配命名空间

将子网分配给特定命名空间可实现更细粒度的网络隔离。

注意:分配过程会重建网关,出站数据包将被丢弃!请确保当前没有业务应用正在访问外部集群。

  1. 进入 管理员

  2. 在左侧边栏中,单击 网络管理 > 子网

  3. 单击子网名称。

  4. 选择 操作 > 分配命名空间

  5. 添加或移除命名空间后,单击 分配

通过 CLI 分配命名空间

kubectl patch subnet test-overlay-subnet --type=json -p='[
  {
    "op": "replace",
    "path": "/spec/namespaces",
    "value": ["cert-manager"]
  }
]'

通过 Web 控制台扩展子网

当子网的保留 IP 范围达到使用上限或即将耗尽时,可以在不影响现有服务正常运行的情况下,基于原始子网范围进行扩展。

  1. 进入 管理员

  2. 在左侧边栏中,单击 网络管理 > 子网

  3. 单击子网名称。

  4. 选择 操作 > 扩展子网

  5. 完成配置后,单击 更新

通过 CLI 扩展子网

kubectl patch subnet test-overlay-subnet --type=json -p='[
  {
    "op": "replace",
    "path": "/spec/cidrBlock",
    "value": "10.1.0.0/22"
  }
]'
NOTE

扩展默认 Pod 子网

如果集群中的 Pod IP 地址即将耗尽,可以按照同样的方法扩展默认 Pod 子网(ovn-default)。现有 Pod 会保留其地址,新 Pod 将从扩展后的范围中获取地址。

子网只能在保持相同网络基地址的前提下进行扩展(即网络前缀变短);不能更改基地址,也不能缩小范围。如果默认 Pod 子网无法原地扩展,例如扩展后的更大范围与当前基地址不对齐,则应新增一个子网,并将其绑定到需要更多地址的命名空间。

集群创建后,Service CIDR 不能更改。请在安装前规划好 Service 网络规模。

管理 Calico 网络

支持分配项目和命名空间;详情请参见 项目分配命名空间分配

通过 Web 控制台删除子网

NOTE
  • 删除子网后,如果仍有容器组正在使用该子网内的 IP,容器组可以继续运行且 IP 地址保持不变,但它们将无法进行网络通信。可以重建这些容器组,使其使用默认子网内的 IP,或者为容器组所在的命名空间重新分配一个新子网以供使用。

  • 默认子网不能删除。

  1. 进入 管理员

  2. 在左侧导航栏中,单击 网络管理 > 子网

  3. 单击 ⋮ > 删除,并继续执行删除操作。

通过 CLI 删除子网

kubectl delete subnet test-overlay-subnet