#配置 Multus 多网卡网络

本文介绍如何使用 Multus 将 ACP 分布式存储（Ceph）连接到专用容器网络，从而将 Ceph public 和 cluster 流量分配到不同的网络接口（NIC）。

#概述

默认情况下，ACP Ceph 存储集群使用主机网络（provider: host）。从 Web 控制台创建存储集群时，也可以选择容器网络，将 Ceph 流量置于单个容器网络上（分配给 rook-ceph 命名空间的单个 NetworkAttachmentDefinition）。有关基本的单网络选项，请参阅创建标准存储服务。

Multus 多网卡网络扩展了容器网络模型，使你可以将两个 Ceph 网络角色映射到不同的网络：

• public network — Ceph 客户端（CSI、原生应用）与集群之间的客户端流量。
• cluster network — OSD 之间的内部流量，例如复制和恢复流量。

将这两个角色分配到不同的网卡可以增强隔离性，并避免大量复制/恢复流量与客户端 I/O 争用资源。

#两个管理界面

ACP 提供旧版和新版 Web 控制台，它们通过不同的资源管理 Ceph 存储。请在管理集群的资源上配置网络：

要确定哪个资源管理特定集群，请检查是否存在 StorageCluster：

kubectl get storagecluster -A

• 如果集群存在 StorageCluster，则由新版控制台管理 — 请在 StorageCluster 上配置网络（operator 会还原对底层 CephCluster 的手动修改）。
• 如果不存在 StorageCluster，则集群由旧版控制台作为 CephCluster 直接管理 — 请在 CephCluster 上配置网络。

这两种资源都公开相同的网络字段（provider、selectors、addressRanges）。以下各节提供了每种管理界面对应的清单。

网络角色与网络之间的映射通过 selectors 声明：

你可以仅指定 public，也可以同时指定 public 和 cluster。当 provider 为 multus 时，至少需要一个选择器。

#限制和前提条件

配置 Multus 多网卡网络之前，请注意以下限制：

• 仅限创建时配置

  • 必须在创建存储集群时配置 Multus 多网卡网络。不支持更改运行中集群的网络提供程序：应用新的网络模型需要 Ceph 将所有监视器故障转移，而且 API 不允许直接从一个非空提供程序切换到另一个非空提供程序（必须先将提供程序恢复为空值）。请将网络模型视为集群的固定属性。

• 已安装 Multus CNI 插件

  • 集群必须使用 Kube-OVN 作为网络插件，并且必须安装 Multus CNI 插件。这是一次性集群范围设置。若要安装，请导航至管理员 > Marketplace > 集群插件，搜索 multus，然后安装 Alauda Container Platform Multi-Network。详情请参阅配置 Kube-OVN 网络以支持 Pod 多网络接口。

• 单一 IP 地址族

  • Multus 网络必须使用单一 IP 地址族。IPv4 和 IPv6 均受支持，但 Multus 不支持双栈（同时使用 IPv4 和 IPv6）。若要使用 IPv6，请在网络块中设置 ipFamily: IPv6。
  • 这与创建标准存储服务中的基本容器网络选项不同；该选项不支持 IPv6。此限制仅适用于该单网络表单选项；此处介绍的 Multus 多网卡操作步骤支持 IPv6。

#在创建集群时配置多网卡网络

向导的表单字段无法表达多网卡设置，但创建集群向导提供了 YAML 模式。建议的操作流程是：照常完成向导，让它自动填充清单；然后切换到 YAML 模式，仅编辑网络部分，并在 YAML 模式下提交。这样就无需手动编写整个清单。

YAML 模式中显示的清单取决于所使用的控制台（请参阅两个管理界面）：新控制台显示 StorageCluster，旧版控制台显示 CephCluster。请在对应路径编辑网络块。

apiVersion: k8s.cni.cncf.io/v1
kind: NetworkAttachmentDefinition
metadata:
  name: ceph-public-net
  namespace: rook-ceph
spec:
  config: |-
    {
      "cniVersion": "0.3.0",
      "type": "kube-ovn",
      "server_socket": "/run/openvswitch/kube-ovn-daemon.sock",
      "provider": "ceph-public-net.rook-ceph.ovn"
    }

apiVersion: kubeovn.io/v1
kind: Subnet
metadata:
  name: ceph-public-net
spec:
  protocol: IPv4
  cidrBlock: 192.168.10.0/24
  gateway: 192.168.10.1
  vlan: ceph-public-vlan
  provider: ceph-public-net.rook-ceph.ovn

kubectl get net-attach-def -n rook-ceph

addressRanges:
  public:
    - 10.176.0.0/16
  cluster:
    - 10.176.0.0/16

#验证

创建存储集群后，从 ACP 和 Ceph 两侧验证网络配置。

#（新控制台）检查 StorageCluster 网络设置

如果集群由 StorageCluster 管理，请确认所需的配置。Ceph StorageCluster 在 rook-ceph 命名空间中始终命名为 ceph-cluster（两者均由准入机制强制执行）：

kubectl get storagecluster ceph-cluster -n rook-ceph -o yaml

输出应包含预期的 provider 和选择器：

spec:
  ceph:
    network:
      provider: multus
      selectors:
        public: rook-ceph/ceph-public-net
        cluster: rook-ceph/ceph-cluster-net

#检查生效的 CephCluster 网络设置

此检查适用于两个控制台，因为 CephCluster 是 Rook 实际操作的资源：

kubectl get cephcluster ceph-cluster -n rook-ceph -o jsonpath='{.spec.network}' | jq

provider 和 selectors 应与配置的内容一致。在新控制台中，它们还应与管理该资源的 StorageCluster 一致。

#检查 Ceph Pod 是否已连接到网络

确认 Ceph 守护进程 Pod（例如 MON 和 OSD）带有 Multus 网络连接注解，并报告预期的接口：

kubectl get pod -n rook-ceph -l app=rook-ceph-osd \
  -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.metadata.annotations.k8s\.v1\.cni\.cncf\.io/networks}{"\n"}{end}'

每个 OSD Pod 都应引用 public 网络，以及（如果已配置）cluster 网络。

#检查工作负载挂载

创建或重启一个同时挂载 CephFS PVC 和 RBD PVC 的测试工作负载，然后验证：

• Pod 是否成功启动
• 文件系统是否可读写
• CSI 或工作负载日志中是否未出现与挂载相关的错误

#故障排除建议

如果启用 Multus 后存储集群无法变为健康状态，请先检查以下项目：

1. NAD 不存在 — 选择器引用的 NetworkAttachmentDefinition 在 rook-ceph 命名空间中缺失，或者 <namespace>/<nad-name> 引用拼写错误。
2. 缺少选择器 — 已设置 provider: multus，但未定义 public 或 cluster 选择器。至少需要一个选择器。
3. CIDR 检测失败 — Rook 无法自动检测网络范围。请显式指定 addressRanges。
4. IP 耗尽 — 为 NAD 提供支持的 IPAM 池（例如配置的 CIDR 或地址范围）没有可供新 Ceph Pod 使用的空闲地址。
5. 节点无法访问 Underlay — Ceph CSI driver 使用主机网络运行，因此每个节点（而不是工作负载 Pod）都必须能够通过 Underlay 网络路由到 OSD 地址。如果挂载卡住，请验证节点的 Kube-OVN Underlay 路由，并确认节点可以访问 OSD 地址。

如果集群无法恢复，请使用修正后的网络配置重新创建集群。由于运行中的集群无法切换网络模型，因此应通过重新创建存储集群来解决网络配置错误，而不是在原集群上直接修补。