集群互联（Alpha）

它支持配置网络模式与 Kube-OVN 相同的集群之间的互联，使集群中的 Pods 可以相互访问。Cluster Interconnect Controller 是 Kube-OVN 提供的扩展组件，负责收集不同集群之间的网络信息，并通过下发路由连接多个集群的网络。

前提条件

不同集群的子网 CIDR 不能相互重叠。
需要有一组可被各集群的 kube-ovn-controller 通过 IP 访问的机器，用于部署跨集群互联控制器。
每个集群都需要存在一组可被 kube-ovn-controller 通过 IP 访问的机器，以便后续作为网关节点使用。
此功能仅适用于默认 VPC，用户自定义 VPC 不能使用互联功能。

构建多节点 Kube-OVN 互联控制器

提供三种部署方式：Deploy 部署（平台 v3.16.0 及以上版本支持）、Podman 部署和 Containerd 部署。

Deploy 部署

注意：平台 v3.16.0 及以上版本支持此部署方式。

操作步骤

在集群 Master 节点上执行以下命令，从 kube-ovn-controller Pod 中获取 install-ic-server.sh 安装脚本。

kubectl -n kube-system cp $(kubectl get pods -n kube-system -l app=kube-ovn-controller -o custom-columns=NAME:.metadata.name --no-headers | head -1):/kube-ovn/install-ic-server.sh ./install-ic-server.sh

打开当前目录下的脚本文件，并按如下方式修改参数。

REGISTRY="kubeovn"
VERSION=""

修改后的参数配置如下：

REGISTRY="<Kube-OVN 镜像仓库地址>"   ## 例如：REGISTRY="registry.alauda.cn:60080/acp/"
VERSION="<Kube-OVN 版本>"   ## 例如：VERSION="v1.9.25"

保存脚本文件，并使用以下命令执行。
sh install-ic-server.sh

Podman 和 Containerd 部署

在任意集群中选择三个或更多节点部署互联控制器。此示例中准备了三个节点。

选择任意节点作为 Leader，并根据不同的部署方式执行以下命令。

注意：配置前，请检查 /etc 下是否存在 ovn 目录。如果不存在，请使用命令 mkdir /etc/ovn 创建。

容器部署命令 注意：执行命令 podman images | grep ovn 获取 Kube-OVN 镜像地址。

Leader 节点命令：

podman run \
--name=ovn-ic-db \
-d \
--env "ENABLE_OVN_LEADER_CHECK=false" \
--network=host \
--restart=always \
--privileged=true \
-v /etc/ovn/:/etc/ovn \
-v /var/run/ovn:/var/run/ovn \
-v /var/log/ovn:/var/log/ovn \
-e LOCAL_IP="<当前节点的 IP 地址>" \   ## 例如：-e LOCAL_IP="192.168.39.37"
-e NODE_IPS="<所有节点的 IP 地址，逗号分隔>" \   ## 例如：-e NODE_IPS="192.168.39.22,192.168.39.24,192.168.39.37"
<镜像仓库地址> bash start-ic-db.sh    ## 例如：192.168.39.10:60080/acp/kube-ovn:v1.8.8 bash start-ic-db.sh

另外两个节点的命令：

podman run \
--name=ovn-ic-db \
-d \
--env "ENABLE_OVN_LEADER_CHECK=false" \
--network=host \
--restart=always \
--privileged=true \
-v /etc/ovn/:/etc/ovn \
-v /var/run/ovn:/var/run/ovn \
-v /var/log/ovn:/var/log/ovn \
-e LOCAL_IP="<当前节点的 IP 地址>" \   ## 例如：-e LOCAL_IP="192.168.39.24"
-e LEADER_IP="<Leader 节点的 IP 地址>" \  ## 例如：-e LEADER_IP="192.168.39.37"
-e NODE_IPS="<所有节点的 IP 地址，逗号分隔>" \   ## 例如：-e NODE_IPS="192.168.39.22,192.168.39.24,192.168.39.37"
<镜像仓库地址> bash start-ic-db.sh   ## 例如：192.168.39.10:60080/acp/kube-ovn:v1.8.8  bash start-ic-db.sh

Containerd 部署命令

注意：执行命令 crictl images | grep ovn 获取 Kube-OVN 镜像地址。

Leader 节点命令：

ctr -n k8s.io run \
-d \
--env "ENABLE_OVN_LEADER_CHECK=false" \
--net-host \
--privileged \
--mount="type=bind,src=/etc/ovn/,dst=/etc/ovn,options=rbind:rw" \
--mount="type=bind,src=/var/run/ovn,dst=/var/run/ovn,options=rbind:rw" \
--mount="type=bind,src=/var/log/ovn,dst=/var/log/ovn,options=rbind:rw" \
--env="NODE_IPS=<所有节点的 IP 地址，逗号分隔>" \   ## 例如：--env="NODE_IPS="192.168.178.97,192.168.181.93,192.168.177.192""
--env="LOCAL_IP=<当前节点的 IP 地址>" \   ## 例如：--env="LOCAL_IP="192.168.178.97""
<镜像仓库地址> ovn-ic-db bash start-ic-db.sh   ## 例如：registry.alauda.cn:60080/acp/kube-ovn:v1.9.25 ovn-ic-db bash start-ic-db.sh

另外两个节点的命令：

ctr -n k8s.io run \
-d \
--env "ENABLE_OVN_LEADER_CHECK=false" \
--net-host \
--privileged \
--mount="type=bind,src=/etc/ovn/,dst=/etc/ovn,options=rbind:rw" \
--mount="type=bind,src=/var/run/ovn,dst=/var/run/ovn,options=rbind:rw" \
--mount="type=bind,src=/var/log/ovn,dst=/var/log/ovn,options=rbind:rw" \
--env="NODE_IPS=<所有节点的 IP 地址，逗号分隔>" \   ## 例如：--env="NODE_IPS="192.168.178.97,192.168.181.93,192.168.177.192"" \
--env="LOCAL_IP=<当前节点的 IP 地址>" \   ## 例如：--env="LOCAL_IP="192.168.181.93""
--env="LEADER_IP=<Leader 节点的 IP 地址>" \   ## 例如：--env="LEADER_IP="192.168.178.97""
<镜像仓库地址> ovn-ic-db bash start-ic-db.sh   ## 例如：registry.alauda.cn:60080/acp/kube-ovn:v1.9.25 ovn-ic-db bash start-ic-db.sh

在 global 集群中部署集群互联控制器

在 global 的任意控制节点上，根据注释替换以下参数，并执行以下命令创建 ConfigMap 资源。

注意：为确保正常运行，不允许修改 global 中名为 ovn-ic 的 ConfigMap。如需修改任何参数，请先删除该 ConfigMap，再重新正确配置后应用。

cat << EOF |kubectl apply -f -
apiVersion: v1
kind: ConfigMap
metadata:
  name: ovn-ic
  namespace: cpaas-system
data:
  ic-db-host: "192.168.39.22,192.168.39.24,192.168.39.37"   # 集群互联控制器所在节点的地址，此处为部署控制器的三个节点的本地 IP
  ic-nb-port: "6645"            # 集群互联控制器 nb 端口，默认 6645
  ic-sb-port: "6646"            # 集群互联控制器 sb 端口，默认 6646
EOF

加入集群互联

将网络模式为 Kube-OVN 的集群加入集群互联。

前提条件

集群中的已创建子网、ovn-default 和 join 子网 与集群互联组中的任何集群网段都不冲突。

操作步骤

在左侧导航栏中，点击 Clusters > Cluster of clusters。
点击要加入集群互联的集群名称。
在右上角，点击 Options > Cluster Interconnect。
点击 Join the cluster interconnect。
为该集群选择一个网关节点。
点击 Join。

相关操作

更新互联集群的网关节点信息

更新已加入集群互联组的集群网关节点信息。

操作步骤

在左侧导航栏中，点击 Clusters > Cluster of clusters。
点击需要更新网关节点信息的 集群名称。
在右上角，点击 Operations > Cluster Interconnect。
点击要更新网关节点信息的集群的 Update Gateway Node。
重新为该集群选择网关节点。
点击 Update。

退出集群互联

已加入集群互联组的集群退出集群互联，退出后会断开该集群 Pod 与外部集群 Pod 的连接。

操作步骤

在左侧导航栏中，点击 Clusters > Cluster of clusters。
点击要下线的集群名称。
在右上角，点击 Options > Cluster Interconnect。
点击要退出的集群的 Exit cluster interconnection。
正确输入集群名称。
点击 Exit。

清理互联集群残留

当集群未退出互联集群就被删除时，控制器上可能会残留部分数据。当再次使用这些节点创建集群并加入互联集群时，可能会出现失败。可以查看控制器（kube-ovn-controller）/var/log/ovn/ovn-ic.log 日志中的详细错误信息。部分错误信息可能包括：

transaction error: {"details":"Transaction causes multiple rows in xxxxxx"}

操作步骤

退出互联集群。
在容器或 Pod 中执行清理脚本。

可以直接在 ovn-ic-db 容器或 ovn-ic-controller Pod 中执行清理脚本。请任选以下一种方式：

方式 1：在 ovn-ic-db 容器中执行
- 进入 ovn-ic-db 容器，并使用以下命令执行清理操作。
  ctr -n k8s.io task exec -t --exec-id ovn-ic-db ovn-ic-db /bin/bash
  然后执行以下任一清理命令：
  - 使用原集群名称执行清理操作。将 <cluster-name> 替换为原集群的名称：
    ./clean-ic-az-db.sh <cluster-name>
  - 使用原集群中任意节点名称执行清理操作。将 <node-name> 替换为原集群中任意节点的名称：
    ./clean-ic-az-db.sh <node-name>
方式 2：在 ovn-ic-controller Pod 中执行
- 进入 ovn-ic-controller Pod，并使用以下命令执行清理操作。
  kubectl -n kube-system exec -ti $(kubectl get pods -n kube-system -l app=ovn-ic-controller -o custom-columns=NAME:.metadata.name --no-headers) -- /bin/bash
  然后执行以下任一清理命令：
  - 使用原集群名称执行清理操作。将 <cluster-name> 替换为原集群的名称：
    ./clean-ic-az-db.sh <cluster-name>
  - 使用原集群中任意节点名称执行清理操作。将 <node-name> 替换为原集群中任意节点的名称：
    ./clean-ic-az-db.sh <node-name>

卸载互联集群

注意：步骤 1 到步骤 3 需要在所有已加入互联集群的业务集群上执行。

操作步骤

退出互联集群。具体有两种退出方式，请根据需要选择一种。
- 删除业务集群中名为 ovn-ic-config 的 ConfigMap。使用以下命令。
  kubectl -n kube-system delete cm ovn-ic-config
- 通过平台操作退出互联集群。

使用以下命令进入 ovn-central 的 Leader Pod。

kubectl -n kube-system exec -ti $(kubectl get pods -n kube-system -lovn-nb-leader=true -o custom-columns=NAME:.metadata.name --no-headers) -- /bin/bash

使用以下命令清理 ts 逻辑交换机。
ovn-nbctl ls-del ts

登录到部署控制器的节点并删除控制器。

Podman 命令：

podman stop ovn-ic-db
podman rm ovn-ic-db

Containerd 命令：

ctr -n k8s.io task kill ovn-ic-db
ctr -n k8s.io containers rm ovn-ic-db

使用以下命令删除 global 集群中名为 ovn-ic 的 ConfigMap。
kubectl delete cm ovn-ic -n cpaas-system

配置集群网关高可用

在加入集群互联后，如需将集群网关配置为高可用，可以执行以下步骤：

登录到需要转换为高可用网关的集群，并执行以下命令，将 enable-ic 字段修改为 false。

注意：将 enable-ic 字段修改为 false 会中断集群互联，直到再次将其设置为 true。
kubectl edit cm ovn-ic-config -n kube-system

通过更新 gw-nodes 字段修改网关节点配置，并使用英文逗号分隔网关节点；同时将 enable-ic 字段改为 true。

kubectl edit cm ovn-ic-config -n kube-system

# 配置示例
apiVersion: v1
data:
  auto-route: "true"
  az-name: az1
  enable-ic: "true"
  gw-nodes: 192.168.188.234,192.168.189.54
  ic-db-host: 192.168.178.97
  ic-nb-port: "6645"
  ic-sb-port: "6646"
kind: ConfigMap
metadata:
  creationTimestamp: "2023-06-13T08:01:16Z"
  name: ovn-ic-config
  namespace: kube-system
  resourceVersion: "99671"
  uid: 6163790a-ad9d-4d07-ba82-195b11244983

进入 ovn-central 集群中的 Pod，执行 ovn-nbctl lrp-get-gateway-chassis {当前集群名称}-ts 命令，验证配置是否生效。

ovn-nbctl lrp-get-gateway-chassis az1-ts

# 返回显示示例。其中 100 和 99 的值为优先级，值越大，对应网关节点被使用的优先级越高。
az1-ts-71292a21-131d-492a-9f0c-0611af458950 100
az1-ts-1de7ee15-f372-4ab9-8c85-e54d61ea18f1 99

集群互联（Alpha）#

#目录

#前提条件

#构建多节点 Kube-OVN 互联控制器

#Deploy 部署

#Podman 和 Containerd 部署

#在 global 集群中部署集群互联控制器

#加入集群互联

#相关操作

#更新互联集群的网关节点信息

#退出集群互联

#清理互联集群残留

#卸载互联集群

#配置集群网关高可用

集群互联（Alpha）

目录

前提条件

构建多节点 Kube-OVN 互联控制器

Deploy 部署

Podman 和 Containerd 部署

在 global 集群中部署集群互联控制器

加入集群互联

相关操作

更新互联集群的网关节点信息

退出集群互联

清理互联集群残留

卸载互联集群

配置集群网关高可用