Alauda Container Platform
  • 简体中文

    • etcd 备份与恢复

    集群上的 etcd 服务是一个分布式键值存储，用于存储集群配置信息。etcd 部署在集群的所有控制平面节点上。

    安装 Alauda Container Platform Cluster Enhancer 插件后，系统会自动为集群配置创建 EtcdBackupConfiguration 资源。EtcdBackupConfiguration 包含有关备份数据源（控制节点、备份路径）、备份数据存储位置、备份方法等信息。每次根据策略执行备份都会生成一条新的备份记录，让你可以按需备份集群配置，也可以定期自动备份。

    目录

    先决条件工作原理配置参考计划与保留查看备份记录使用平台 UI使用 CLIS3 备份配置先决条件步骤 1：创建 S3 Secret步骤 2：配置 EtcdBackupConfiguration步骤 3：验证备份etcd 恢复先决条件步骤 1：备份原始数据并修改 etcd 配置步骤 2：复制备份快照步骤 3：恢复 etcd步骤 4：分发恢复的数据步骤 5：重启集群组件步骤 6：验证恢复配置管理

    先决条件

    要启用 etcd 备份：

    1. 从 Customer Portal 下载 Alauda Container Platform Cluster Enhancement（之前称为 Alauda Container Platform Cluster Enhancer）。
    2. 将软件包上传到平台。
    3. 在集群上安装插件。

    安装后，系统会自动创建 EtcdBackupConfiguration 资源。

    工作原理

    • etcd 备份由 Alauda Container Platform Cluster Enhancer 提供
    • 支持本地存储和兼容 S3 的对象存储。本地备份默认写入每个控制平面节点上的目录 /cpaas/backup。请将此目录规划在具有足够扩展空间的专用磁盘上；如果备份累积在根文件系统中，可能会造成磁盘压力。配置 S3 存储后，会在 S3 存储桶中创建额外副本；本地备份仍会继续生成。
    • 对于运行在 Immutable OS 上的集群，必须使用 S3 存储（不支持本地存储）

    配置参考

    你可以配置 EtcdBackupConfiguration 资源，以自定义备份计划、保留策略和存储选项。

    计划与保留

    • schedule：使用标准 cron 语法定义备份频率。
      • 示例：0 0 * * *（每天午夜执行备份）。
    • localStorage：配置本地备份存储。
      • path：存储备份的每个控制平面节点上的目录。默认为 /cpaas/backup。请将其设为由专用可扩展磁盘提供支持的目录；请参阅下方的存储说明。
      • ttl：备份文件的保留期限，单位为秒。超过此期限的备份将自动删除。
        • 示例：7776000（约 90 天）。
    • paused：设置为 true，可在不删除配置的情况下暂时暂停自动备份。
    WARNING

    启用 etcd 备份前，请为本地备份规划专用存储。本地备份会累积在控制平面节点上，并保留至其 ttl 到期，因此该目录必须位于容量足以满足保留策略且以后可以扩展的磁盘上；不要将其放在根文件系统中，因为备份增长可能造成磁盘压力并导致节点不稳定。

    仅当 /cpaas 在每个控制平面节点上都挂载到容量充足的独立磁盘时，默认路径 /cpaas/backup 才适用。如果 /cpaas 属于根文件系统，请将 path 设为由已预配的专用磁盘提供支持的目录，或者在使用默认路径前将 /cpaas 挂载到专用磁盘上。

    配置示例：

    apiVersion: enhancement.cluster.alauda.io/v1
kind: EtcdBackupConfiguration
metadata:
  name: etcd-backup-default
spec:
  schedule: "0 0 * * *"       # Run daily at 00:00
  paused: false               # Enable backups
  localStorage:
    path: /mnt/etcd-backup    # A directory on a dedicated, mounted backup disk
    ttl: "7776000"            # Retain for 90 days
  # ... other fields

    查看备份记录

    要查看 etcd 备份记录，可以使用平台 UI 或命令行。

    使用平台 UI

    1. 在左侧导航栏中，单击 运维中心 > 监控 > 仪表板。
    2. 单击页面右上角的 切换。
    3. 单击 集群 → etcd 备份，查看 etcd 备份记录。

    使用 CLI

    通过检查 EtcdBackupConfiguration 资源的 status 字段，可以验证备份状态和历史记录：

    kubectl get etcdbackupconfiguration etcd-backup-default -o yaml

    输出中包含一个 status.records 列表，其中包含每个备份的详细信息，包括：

    • backupTimestamp：备份创建时间。
    • fileName：备份文件的名称（例如 snapshot-etcd-<date>-<time>-<ip>.tar）。
    • result：备份操作的结果（例如 Success）。

    S3 备份配置

    要为 etcd 备份启用 S3 存储，请执行以下步骤：

    先决条件

    • 集群上已安装 Alauda Container Platform Cluster Enhancement（之前称为 Alauda Container Platform Cluster Enhancer）。

    步骤 1：创建 S3 Secret

    准备 S3 访问凭据，并在 cpaas-system 命名空间中创建 Kubernetes Secret：

    export ACCESS_KEY="your-access-key"
export SECRET_KEY="your-secret-key"

kubectl create secret generic etcd-backup-s3-secret \
  --from-literal=ACCESS_KEY="$ACCESS_KEY" \
  --from-literal=SECRET_KEY="$SECRET_KEY" \
  --dry-run=client -n cpaas-system -o yaml | kubectl apply -f -

    步骤 2：配置 EtcdBackupConfiguration

    修改 EtcdBackupConfiguration 资源，添加包含 S3 配置的 remoteStorage 字段：

    spec:
  remoteStorage:
    s3:
      endpoint: "your-s3-endpoint"  # e.g.: https://s3.bucket.com
      region: "your-s3-region"
      bucket: "your-s3-bucket"
      dir: "your-s3-bucket-dir"
      skipTLSVerify: false  # Set to true only for self-signed certificates
      secretRef: etcd-backup-s3-secret

    步骤 3：验证备份

    触发手动 etcd 备份，以验证配置：

    # Set environment variables
token="your-platform-token"
platform_url="your-platform-url"
cluster_name="your-cluster-name"

# Trigger backup
curl $platform_url/kubernetes/$cluster_name/apis/enhancement.cluster.alauda.io/v1/etcdbackupconfigurations/etcd-backup-default/exec \
  -k -H "Authorization: Bearer $token"

    备份完成后，验证 S3 存储桶中是否存在备份文件。

    etcd 恢复

    警告：

    • 此操作将对 etcd 集群执行灾难性恢复，并覆盖现有数据。继续操作前，请确保已有有效的备份快照。
    • 此操作步骤存在重大风险。如果不确定如何操作，请联系技术支持。
    • 恢复过程中，Kubernetes API Server 将不可用。

    先决条件

    • Kubernetes 集群使用主机名部署（kubectl get node 将主机名显示为节点名称）。
    • 有可用的 etcd 备份快照。
    • 由于 etcd 节点故障，集群无法正常运行（例如，超过一半的控制平面节点已宕机）。
    • 此恢复操作步骤专为 3 节点控制平面 集群设计。如果集群有 5 个或更多控制平面节点，请联系技术支持以获取帮助。

    步骤 1：备份原始数据并修改 etcd 配置

    在所有控制平面节点上执行以下命令：

    # Create backup directory
mkdir -p /root/backup_$(date +%Y%m%d%H)/old-etcd/

# Stop kubelet
systemctl stop kubelet

# Backup etcdctl binary
cp $(find /var/lib/containerd/ -name etcdctl | tail -1) /root/etcdctl

# Remove etcd containers
crictl ps -a | grep etcd | awk '{print $1}' | xargs -r crictl rm -f

# Backup etcd data and kubernetes configuration
cp -a /var/lib/etcd/* /root/backup_$(date +%Y%m%d%H)/old-etcd/
rm -rf /var/lib/etcd/*
cp -r /etc/kubernetes/ /root/backup_$(date +%Y%m%d%H)/old-etcd/

# Modify etcd.yaml to use existing cluster state
sed -i /initial-cluster-state=/d /etc/kubernetes/manifests/etcd.yaml
sed -i '/initial-cluster=/a\    - --initial-cluster-state=existing' /etc/kubernetes/manifests/etcd.yaml

    注意：请验证 /etc/kubernetes/manifests/etcd.yaml 中 --initial-cluster-state=existing 的缩进。

    步骤 2：复制备份快照

    将最新的 etcd 备份快照复制到第一个控制平面节点上的 /tmp 目录，并将其命名为 snapshot.db。

    步骤 3：恢复 etcd

    在第一个控制平面节点上执行以下脚本，以恢复快照。

    注意：以下脚本假定集群具有 3 节点控制平面。如果集群有 5 个或更多节点，请联系技术支持。

    #!/usr/bin/env bash

# Set etcd node IPs (Replace with actual IPs)
export ETCD_1=1.1.1.1
export ETCD_2=2.2.2.2
export ETCD_3=3.3.3.3

# Set corresponding node hostnames (Replace with actual hostnames)
export ETCD_1_HOSTNAME=etcd-1
export ETCD_2_HOSTNAME=etcd-2
export ETCD_3_HOSTNAME=etcd-3

export ETCDCTL_API=3

# Loop for 3 nodes. Adjust '1 2 3' if you have a different number of nodes.
for n in 1 2 3; do
  ip_var=ETCD_${n}
  host_var=ETCD_${n}_HOSTNAME

  ip=${!ip_var}
  host=${!host_var}

  echo "Restoring for node: ${host} (${ip})..."

  rm -rf /tmp/etcd
  /root/etcdctl snapshot restore /tmp/snapshot.db \
    --cert=/etc/kubernetes/pki/etcd/server.crt \
    --key=/etc/kubernetes/pki/etcd/server.key \
    --cacert=/etc/kubernetes/pki/etcd/ca.crt \
    --skip-hash-check=true \
    --data-dir=/tmp/etcd \
    --name "${host}" \
    --initial-cluster \
      ${ETCD_1_HOSTNAME}=https://${ETCD_1}:2380,\
${ETCD_2_HOSTNAME}=https://${ETCD_2}:2380,\
${ETCD_3_HOSTNAME}=https://${ETCD_3}:2380 \
    --initial-advertise-peer-urls https://"${ip}":2380 && \
    mv /tmp/etcd /root/etcd_"${host}"

  echo "Restoration for ${host} completed. Data directory: /root/etcd_${host}"
done

    脚本完成后，将在 /root 目录中生成三个目录（etcd_$host）。

    步骤 4：分发恢复的数据

    1. 将恢复的数据目录传输到相应的控制平面节点。使用 scp 或类似工具，将步骤 3 中生成的目录（/root/etcd_<hostname>）从第一个节点复制到其他节点。

      例如，传输到 etcd-2 和 etcd-3：

      # Replace <etcd-2-ip> and <etcd-3-ip> with actual IPs
scp -r /root/etcd_etcd-2 root@<etcd-2-ip>:/root/
scp -r /root/etcd_etcd-3 root@<etcd-3-ip>:/root/

    2. 将数据恢复到每个控制平面节点上的 etcd 数据目录（/var/lib/etcd）。

      # On etcd-1:
cp -r /root/etcd_etcd-1/member/* /var/lib/etcd/

# On etcd-2:
cp -r /root/etcd_etcd-2/member/* /var/lib/etcd/

# On etcd-3:
cp -r /root/etcd_etcd-3/member/* /var/lib/etcd/

    步骤 5：重启集群组件

    在所有控制平面节点上执行以下命令：

    # Remove Kubernetes control plane containers
crictl ps -a | grep -E "kube-api|kube-sche|kube-contro" | awk '{print $1}' | xargs -r crictl rm -f

# Restart kubelet
systemctl restart kubelet

    步骤 6：验证恢复

    1. 检查 etcd 集群是否运行正常。可以在任意 etcd pod 中执行此命令，或在主机上使用 etcdctl 二进制文件：

      # Using etcdctl on the host
export ETCDCTL_API=3
/root/etcdctl --cacert=/etc/kubernetes/pki/etcd/ca.crt \
  --cert=/etc/kubernetes/pki/etcd/server.crt \
  --key=/etc/kubernetes/pki/etcd/server.key \
  --endpoints=https://127.0.0.1:2379 \
  endpoint health

    2. 检查 Kubernetes pod 是否正常运行：

      kubectl get po -n kube-system

    3. 在所有节点（包括控制平面节点和工作节点）上重启 kubelet，确保所有组件重新连接到已恢复的 etcd：

      systemctl restart kubelet

    配置管理

    如需修改默认的 etcd 备份配置，请联系技术支持，了解详细的配置选项和高级设置。