#配置 Multus 多 NIC 网络

本文介绍如何使用 Multus 将 ACP 分布式存储（Ceph）连接到专用容器网络，从而将 Ceph public 和 cluster 流量分离到不同的网络接口（NIC）上。

#概述

默认情况下，ACP Ceph 存储集群使用主机网络（provider: host）。在 Web 控制台中创建存储集群时，也可以选择 Container Network，将 Ceph 流量放到单一容器网络中（分配给 rook-ceph 命名空间的一个 NetworkAttachmentDefinition）。有关基础单网络选项，请参见 创建标准存储服务。

Multus 多 NIC 网络在容器网络模型的基础上进行了扩展，使你可以将两个 Ceph 网络角色映射到不同的网络上：

• public network — Ceph 客户端（CSI、应用）与集群之间的客户端流量。
• cluster network — OSD 之间的内部流量，例如复制和恢复。

将这些角色分离到不同的 NIC 上可以提高隔离性，并避免大量的复制/恢复流量与客户端 I/O 争用。

#两个管理界面

ACP 提供旧版和新版 Web 控制台，它们通过不同的资源管理 Ceph 存储。请在管理你的集群的资源上配置网络：

要确定某个集群由哪个资源管理，请检查是否存在 StorageCluster：

kubectl get storagecluster -A

• 如果你的集群存在 StorageCluster，则由新版控制台管理——请在 StorageCluster 上配置网络（operator 会撤销对底层 CephCluster 的手动编辑）。
• 如果不存在 StorageCluster，则该集群由旧版控制台直接作为 CephCluster 管理——请在 CephCluster 上配置网络。

这两个资源暴露相同的网络字段（provider、selectors、addressRanges）。以下各节分别给出了两个管理界面的 manifest。

网络角色到网络的映射通过 selectors 声明：

你可以只指定 public，也可以同时指定 public 和 cluster。当 provider 为 multus 时，至少需要一个 selector。

#限制和前提条件

在配置 Multus 多 NIC 网络之前，请注意以下限制：

• 仅支持创建时配置

  • 必须在创建存储集群时配置 Multus 多 NIC 网络。不支持在运行中的集群上更改网络 provider：Ceph 必须对所有 monitor 执行故障切换才能应用新的网络模型，而且 API 不允许将一个非空 provider 直接切换到另一个非空 provider（必须先将 provider 恢复为空值）。请将网络模型视为集群的固定属性。

• 已安装 Multus CNI plugin

  • 集群必须使用 Kube-OVN 作为网络 plugin，并且必须安装 Multus CNI plugin。这是一次性的、集群级别的设置。安装方法：进入 Administrator > Marketplace > Cluster Plugins，搜索 multus，然后安装 Alauda Container Platform Networking for Multus。详情请参见 配置 Kube-OVN 网络以支持 Pod 多网络接口。

• 单一 IP family

  • Multus 网络必须使用单一 IP family。支持 IPv4 和 IPv6，但 Multus 不支持双栈（IPv4 和 IPv6 同时使用）。如需使用 IPv6，请在 network block 中设置 ipFamily: IPv6。
  • 这与 创建标准存储服务 中的基础 Container Network 选项不同，后者不支持 IPv6。该限制仅适用于单网络表单选项；本文描述的 Multus 多 NIC 操作步骤支持 IPv6。

#在集群创建时配置多 NIC 网络

多 NIC 设置不能在向导的表单字段中表达，但 Create Cluster 向导提供了 YAML mode。推荐的流程是：先像平常一样完成向导，让其自动填充 manifest，然后切换到 YAML mode，仅编辑网络部分，最后在 YAML mode 中提交。这样可以避免手工编写整个 manifest。

YAML mode 中显示的 manifest 取决于你的控制台（参见 两个管理界面）：新版控制台显示 StorageCluster，旧版控制台显示 CephCluster。请编辑对应路径上的 network block。

apiVersion: k8s.cni.cncf.io/v1
kind: NetworkAttachmentDefinition
metadata:
  name: ceph-public-net
  namespace: rook-ceph
spec:
  config: |-
    {
      "cniVersion": "0.3.0",
      "type": "kube-ovn",
      "server_socket": "/run/openvswitch/kube-ovn-daemon.sock",
      "provider": "ceph-public-net.rook-ceph.ovn"
    }

apiVersion: kubeovn.io/v1
kind: Subnet
metadata:
  name: ceph-public-net
spec:
  protocol: IPv4
  cidrBlock: 192.168.10.0/24
  gateway: 192.168.10.1
  vlan: ceph-public-vlan
  provider: ceph-public-net.rook-ceph.ovn

kubectl get net-attach-def -n rook-ceph

addressRanges:
  public:
    - 10.176.0.0/16
  cluster:
    - 10.176.0.0/16

#验证

存储集群创建完成后，请分别从 ACP 侧和 Ceph 侧验证网络配置。

#（新版控制台）检查 StorageCluster 网络设置

如果你的集群由 StorageCluster 管理，请确认所需配置。Ceph StorageCluster 在 rook-ceph 命名空间中的名称始终为 ceph-cluster（这两项都由 admission 强制保证）：

kubectl get storagecluster ceph-cluster -n rook-ceph -o yaml

输出应包含预期的 provider 和 selectors：

spec:
  ceph:
    network:
      provider: multus
      selectors:
        public: rook-ceph/ceph-public-net
        cluster: rook-ceph/ceph-cluster-net

#检查实际生效的 CephCluster 网络设置

此检查适用于两个控制台，因为 CephCluster 是 Rook 实际作用的资源：

kubectl get cephcluster ceph-cluster -n rook-ceph -o jsonpath='{.spec.network}' | jq

provider 和 selectors 应与配置一致。在新版控制台中，它们还应与管理该集群的 StorageCluster 一致。

#检查 Ceph Pod 是否已挂载到网络

确认 Ceph daemon Pod（例如 MON 和 OSD）带有 Multus 网络挂载注解，并报告了预期的接口：

kubectl get pod -n rook-ceph -l app=rook-ceph-osd \
  -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.metadata.annotations.k8s\.v1\.cni\.cncf\.io/networks}{"\n"}{end}'

每个 OSD Pod 都应引用 public 网络，以及（如果已配置）cluster 网络。

#检查工作负载挂载

创建或重启一个测试工作负载，使其挂载 CephFS PVC 和 RBD PVC，然后验证：

• Pod 能成功启动
• 文件系统可以正常读写
• CSI 或工作负载日志中没有出现与挂载相关的错误

#故障排查建议

如果启用 Multus 后存储集群未能变为健康状态，请先检查以下项目：

1. NAD 不存在 — selector 引用的 NetworkAttachmentDefinition 在 rook-ceph 命名空间中不存在，或者 <namespace>/<nad-name> 引用拼写错误。
2. 缺少 selector — 已设置 provider: multus，但未定义 public 或 cluster selector。至少需要一个 selector。
3. CIDR 检测失败 — Rook 无法自动检测网络范围。请显式指定 addressRanges。
4. IP 不足 — NAD 背后的 IPAM 池（例如已配置的 CIDR 或 address range）没有可供新 Ceph Pod 使用的空闲地址。
5. node 无法访问 underlay — Ceph CSI driver 以 host networking 运行，因此每个 node（而不是工作负载 Pod）都必须能够路由到 underlay 网络上的 OSD 地址。如果挂载卡住，请检查 node 的 Kube-OVN underlay 路由，以及 node 是否可以访问 OSD 地址。

如果集群无法恢复，请使用修正后的网络配置重新创建。由于无法在运行中的集群上切换网络模型，网络配置错误通常需要通过重新创建存储集群来解决，而不是就地 patch。