logo
Alauda Container Platform
English
简体中文
English
简体中文
logo
Alauda Container Platform
导航

概览

架构
发版日志

安装

概览

安装准备

前提条件
下载
节点预处理
安装
Global Cluster 灾难恢复

升级

概览
升级前准备
升级 global 集群
升级业务集群

用户界面

Web 控制台

概览
访问 Web 控制台
Customizing the Web Console
自定义左侧导航

CLI 工具

ACP CLI (ac)

使用 ACP CLI 入门
配置 ACP CLI
ac 和 kubectl 命令的使用
管理 CLI 配置文件
使用插件扩展 ACP CLI
AC CLI 开发者命令参考
AC CLI 管理员命令参考
violet CLI

配置

功能开关

集群

概览
不可变基础设施

节点管理

概览
向本地集群添加节点
管理节点
节点监控

托管集群

概述

导入集群

概览
导入标准 Kubernetes 集群
导入 OpenShift 集群
导入 Amazon EKS 集群
导入 GKE 集群
导入华为云 CCE 集群(公有云)
导入 Azure AKS 集群
导入阿里云 ACK 集群
导入腾讯云 TKE 集群
注册集群

公有云集群初始化

网络初始化

AWS EKS 集群网络初始化配置
AWS EKS 补充信息
华为云 CCE 集群网络初始化配置
Azure AKS 集群网络初始化配置
Google GKE 集群网络初始化配置

存储初始化

概览
AWS EKS 集群存储初始化配置
华为云 CCE 集群存储初始化配置
Azure AKS 集群存储初始化配置
Google GKE 集群存储初始化配置

如何操作

导入集群的网络配置
获取导入集群信息
信任不安全的镜像仓库
从自定义命名的网卡采集网络数据
创建本地集群
托管控制平面
集群节点规划
etcd 加密

如何操作

为内置镜像仓库添加外部访问地址
选择容器运行时
使用 Manager 策略优化 Pod 性能
更新公共仓库凭证

备份与恢复

概览
安装
备份仓库

备份管理

ETCD 备份
创建应用备份计划
钩子

恢复管理

运行应用恢复任务
镜像仓库替换

网络

操作指南

配置域名
创建证书
配置服务
配置 Ingresses
配置子网
配置 MetalLB
配置 GatewayAPI Gateway
配置 GatewayAPI 路由
配置 ALB
配置 NodeLocal DNSCache
配置 CoreDNS

实用指南

Ingress-Nginx 任务
Envoy Gateway 任务
软数据中心 LB 方案(Alpha)

Kube OVN

了解 Kube-OVN CNI
准备 Kube-OVN Underlay 物理网络
Underlay 和 Overlay 子网的自动互联
集群互联(Alpha)
配置 Egress Gateway
配置 IPPool
配置 Kube-OVN 网络以支持 Pod 多网卡(Alpha)
配置 Endpoint Health Checker

alb

Tasks for ALB

故障排除

如何解决 ARM 环境下的节点间通信问题?
查找错误原因

存储

介绍

核心概念

核心概念
Persistent Volume
访问模式和卷模式

操作指南

创建 CephFS 文件存储类型存储类
创建 CephRBD 块存储类
创建 TopoLVM 本地存储类
创建 NFS 共享存储类
部署 Volume Snapshot 组件
创建 PV
Creating PVCs
使用卷快照

实用指南

通用临时卷
使用 emptyDir
使用本地卷配置持久存储
使用 NFS 配置持久存储
第三方存储能力注解指南

故障排除

从 PVC 扩容失败中恢复

对象存储

介绍
核心概念
安装

操作指南

为 Ceph RGW 创建 BucketClass
为 MinIO 创建 BucketClass
创建 Bucket Request

实用指南

使用 CephObjectStoreUser(Ceph 驱动)控制 COSI 桶的访问权限和配额
机器配置

可扩展性与性能

评估业务集群资源
磁盘配置
评估 Global Cluster 的资源
提升大规模 Kubernetes 集群的稳定性

存储

Ceph 分布式存储

介绍

安装

创建标准型集群
创建 Stretch 类型集群
架构

核心概念

核心概念

操作指南

访问存储服务
存储池管理
节点特定组件部署
添加设备/设备类
监控与告警

实用指南

配置专用集群用于分布式存储
清理分布式存储

灾难恢复

文件存储灾备
块存储灾难恢复
对象存储灾备
更新优化参数
创建 Ceph 对象存储用户
设置存储池配额

MinIO 对象存储

介绍
安装
架构

核心概念

核心概念

操作指南

添加存储池
Monitoring & Alerts

实用指南

数据灾难恢复

TopoLVM 本地存储

介绍
安装

操作指南

设备管理
监控与告警

实用指南

使用 Velero 备份和恢复 TopoLVM 文件系统 PVC
配置条带逻辑卷

网络

概览

网络操作器

MetalLB Operator
Ingress Nginx Operator
Envoy Gateway Operator

ALB Operator

了解 ALB
Auth
为 ALB 部署高可用 VIP
在 ALB 中绑定网卡
ALB 性能选择的决策依据
ALB 中的负载均衡会话亲和策略
L4/L7 超时
HTTP 重定向
CORS
Header Modification
URL 重写
ModSecurity
OTel
TCP/HTTP Keepalive
ALB 与 Ingress-NGINX 注解兼容性
ALB 监控

网络安全

理解网络策略 API
管理员网络策略
网络策略

Ingress 和负载均衡

使用 Envoy Gateway 实现 Ingress 和负载均衡
网络可观测性

安全

Alauda Container Security

安全与合规

合规性

介绍
安装 Alauda Container Platform Compliance with Kyverno

使用指南

私有镜像仓库访问配置
镜像签名验证策略
使用 Secrets 的镜像签名验证策略
镜像仓库验证策略
容器逃逸防护策略
Security Context Enforcement Policy
网络安全策略
Volume Security Policy

API Refiner

介绍
安装 Alauda Container Platform API Refiner
关于 Alauda Container Platform Compliance Service

用户与角色

用户

介绍

操作指南

管理用户角色
创建用户
用户管理

组

介绍

操作指南

管理用户组角色
创建本地用户组
管理本地用户组成员

角色

介绍

操作指南

创建 Kubernetes 角色
RBAC 重构后的角色管理

IDP

介绍

操作指南

LDAP 管理
OIDC 管理

故障排除

删除用户

用户策略

介绍

多租户(项目)

介绍

操作指南

创建项目
管理项目配额
管理项目
管理项目集群
管理项目成员

审计

介绍

遥测

安装

证书

自动化 Kubernetes 证书轮换
cert-manager
OLM 证书
证书监控
轮换平台访问地址的 TLS 证书

虚拟化

虚拟化

概览

介绍
安装

镜像

介绍

操作指南

添加虚拟机镜像
更新/删除虚拟机镜像
更新/删除镜像凭据

实用指南

使用 KubeVirt 基于 ISO 创建 Windows 镜像
使用 KubeVirt 基于 ISO 创建 Linux 镜像
导出虚拟机镜像
权限

虚拟机

介绍

操作指南

创建虚拟机/虚拟机组
虚拟机批量操作
使用 VNC 登录虚拟机
管理密钥对
管理虚拟机
监控与告警
虚拟机快速定位

实用指南

配置 USB 主机直通
虚拟机热迁移
虚拟机恢复
在 KubeVirt 上克隆虚拟机
物理 GPU 直通环境准备
配置虚拟机高可用性
从现有虚拟机创建虚拟机模板

故障排除

Pod 迁移及虚拟机节点异常关闭恢复
热迁移错误信息及解决方案

网络

介绍

操作指南

配置网络

实用指南

通过网络策略控制虚拟机网络请求
配置 SR-IOV
配置虚拟机使用网络绑定模式以支持 IPv6

存储

介绍

操作指南

管理虚拟磁盘

备份与恢复

介绍

操作指南

使用快照
使用 Velero

开发人员

快速开始

Creating a simple application via image

构建应用

Build application architecture

核心概念

应用类型
Custom Applications
工作负载类型
理解参数
理解环境变量
理解启动命令
资源单位说明

命名空间

创建命名空间
导入 Namespace
资源配额
Limit Range
Pod Security Policies
UID/GID 分配
超售比
管理 Namespace 成员
更新命名空间
删除/移除命名空间

创建应用

Creating applications from Image
Creating applications from Chart
通过 YAML 创建应用
Creating applications from Code
Creating applications from Operator Backed
Creating applications by using CLI

应用的操作与维护

Application Rollout

安装 Alauda Container Platform Argo Rollouts
Application Blue Green Deployment
Application Canary Deployment
状态描述

KEDA(Kubernetes Event-driven Autoscaling)

KEDA 概览
Installing KEDA

实用指南

Integrating ACP Monitoring with Prometheus Plugin
在 KEDA 中暂停自动扩缩容
配置 HPA
启动和停止原生应用
配置 VerticalPodAutoscaler (VPA)
配置 CronHPA
更新原生应用
导出应用
更新和删除 Chart 应用
应用版本管理
删除原生应用
处理资源耗尽错误
健康检查

计算组件

Deployments
DaemonSets
StatefulSets
CronJobs
Jobs
Pods
Containers
使用 Helm Chart

配置

Configuring ConfigMap
Configuring Secrets

应用可观测

监控面板
Logs
Events

实用指南

设置定时任务触发规则
添加ImagePullSecrets到ServiceAccount

镜像

镜像概述

实用指南

Creating images
Managing images

镜像仓库

介绍

安装

通过 YAML 安装
通过 Web UI 安装

实用指南

Common CLI Command Operations
Using Alauda Container Platform Registry in Kubernetes Clusters

Source to Image

概览

介绍
架构
发版日志
生命周期策略

安装

Installing Alauda Container Platform Builds

升级

升级 Alauda Container Platform Builds

操作指南

Managing applications created from Code

实用指南

Creating an application from Code

节点隔离策略

介绍
架构

核心概念

Core Concepts

操作指南

创建节点隔离策略
权限
常见问题

Alauda Container Platform GitOps

关于 Alauda Container Platform GitOps

扩展

概览
Operator
集群插件
图表仓库
上架软件包

可观测性

概览

监控

介绍
安装

架构

Monitoring Module Architecture
Monitoring Component Selection Guide
监控组件容量规划
核心概念

操作指南

指标管理
告警管理
通知管理
监控面板管理
探针管理

实用指南

Prometheus 监控数据的备份与恢复
VictoriaMetrics 监控数据的备份与恢复
从自定义命名的网络接口采集网络数据

分布式追踪

介绍
安装
架构
核心概念

操作指南

Query Tracing
查询 Trace 日志

实用指南

Java 应用中追踪的非侵入式集成
业务日志与 TraceID 关联

故障排除

无法查询到所需的Tracing
不完整的追踪数据

日志

关于 Logging Service

事件

介绍
Events

检查

介绍
架构

操作指南

Inspection
Component Health Status

硬件加速器

关于 Alauda Build of Hami
关于 Alauda Build 的 NVIDIA GPU 设备插件

Alauda 服务网格

Service Mesh 1.x
Service Mesh 2.x

Alauda AI

关于 Alauda AI

Alauda DevOps

关于 Alauda DevOps

Alauda 成本管理

关于 Alauda 成本管理

Alauda 原生应用服务

概览

介绍
架构
安装
升级

Alauda Database Service for MySQL

About Alauda Database Service for MySQL-MGR
About Alauda Database Service for MySQL-PXC

Alauda Cache Service for Redis OSS

About Alauda Cache Service for Redis OSS

Alauda Streaming Service for Kafka

About Alauda Streaming Service for Kafka

Alauda Streaming Service for RabbitMQ

About Alauda Streaming Service for RabbitMQ

Alauda support for PostgreSQL

About Alauda support for PostgreSQL

运维管理

介绍

参数模板管理

介绍

操作指南

参数模板管理

备份管理

介绍

操作指南

外部 S3 存储
备份管理

检查管理

介绍

操作指南

创建巡检任务
Exec Inspection Task
更新和删除巡检任务

实用指南

如何设置巡检调度?

检查优化建议

MySQL

MySQL IO 负载优化
MySQL 内存使用优化
MySQL 存储空间优化
MySQL 活跃线程数优化
MySQL 行锁优化

Redis

Redis BigKey
Redis 中的高 CPU 使用率
Redis 中的高内存使用率

Kafka

Kafka 中的高 CPU 利用率
Kafka Rebalance 优化
Kafka 内存使用优化
Kafka 存储空间优化

RabbitMQ

RabbitMQ Mnesia 数据库异常处理

告警管理

介绍

操作指南

与平台能力的关系

升级管理

介绍

操作指南

实例升级

API 参考

概览

介绍
Kubernetes API 使用指南

Advanced APIs

Alert APIs

AlertHistories [v1]
AlertHistoryMessages [v1]
AlertStatus [v2]
SilenceStatus [v2]

Event APIs

Search

GitOps APIs

Core
Application
ApplicationSet

Log APIs

Aggregation
Archive
Context
Search

Monitoring APIs

Indicators [monitoring.alauda.io/v1beta1]
Metrics [monitoring.alauda.io/v1beta1]
Variables [monitoring.alauda.io/v1beta1]

Kubernetes APIs

Alert APIs

AlertTemplate [alerttemplates.aiops.alauda.io/v1beta1]
PrometheusRule [prometheusrules.monitoring.coreos.com/v1]

AutoScaling APIs

HorizontalPodAutoscaler [autoscaling/v2]

Configuration APIs

ConfigMap [v1]
Secret [v1]

Inspection APIs

Inspection [inspections.ait.alauda.io/v1alpha1]

MachineConfiguration APIs

MachineConfig [machineconfiguration.alauda.io/v1alpha1]
MachineConfigPool [machineconfiguration.alauda.io/v1alpha1]
MachineConfiguration [machineconfiguration.alauda.io/v1alpha1]

ModulePlugin APIs

ModuleConfig [moduleconfigs.cluster.alauda.io/v1alpha1]
ModuleInfo [moduleinfoes.cluster.alauda.io/v1alpha1]
ModulePlugin [moduleplugins.cluster.alauda.io/v1alpha1]

Namespace APIs

LimitRange [v1]
Namespace [v1]
ResourceQuota [v1]

Networking APIs

HTTPRoute [httproutes.gateway.networking.k8s.io/v1]
Service [v1]
VpcEgressGateway [vpc-egress-gateways.kubeovn.io/v1]
Vpc [vpcs.kubeovn.io/v1]

Notification APIs

Notification [notifications.ait.alauda.io/v1beta1]
NotificationGroup [notificationgroups.ait.alauda.io/v1beta1]
NotificationTemplate [notificationtemplates.ait.alauda.io/v1beta1]

Operator APIs

Operator [operators.operators.coreos.com/v1]

Workload APIs

Cronjob [batch/v1]
DameonSet [apps/v1]
Deployment [apps/v1]
Job [batch/v1]
Pod [v1]
Replicaset [apps/v1]
ReplicationController [v1]
Statefulset [apps/v1]
📝 在 GitHub 上编辑此页
上一页实用指南
下一页清理分布式存储

以 PDF 格式查看完整文档

#配置专用集群用于分布式存储

专用集群部署是指使用独立集群部署平台的分布式存储,平台内其他业务集群通过集成访问并使用该存储提供的服务。
为保证平台分布式存储的性能和稳定性,专用存储集群仅部署平台核心组件和分布式存储组件,避免与其他业务负载混合部署。此种分离部署方式是平台分布式存储的推荐最佳实践。

#目录

#架构

存储计算分离架构

#基础设施要求

#平台要求

支持版本为 3.18 及以后版本。

#集群要求

建议使用裸金属集群作为专用存储集群。

#资源要求

分布式存储部署的组件请参考核心概念。

各组件有不同的 CPU 和内存需求,推荐配置如下:

进程CPU内存
MON2c3Gi
MGR3c4Gi
MDS3c8Gi
RGW2c4Gi
OSD4c8Gi

一个集群通常运行:

  • 3 个 MON
  • 2 个 MGR
  • 多个 OSD
  • 2 个 MDS(如果使用 CephFS)
  • 2 个 RGW(如果使用 CephObjectStorage)

根据组件分布,单节点资源推荐如下:

CPU内存
16c + (4c * 每节点 OSD 数)20Gi + (8Gi * 每节点 OSD 数)

#存储设备要求

建议每节点部署不超过 12 个存储设备,有助于限制节点故障后的恢复时间。

#存储设备类型要求

建议使用企业级 SSD,单个设备容量不超过 10TiB,且所有磁盘大小和类型保持一致。

#容量规划

部署前需根据具体业务需求规划存储容量。默认分布式存储系统采用 3 副本冗余策略,因此可用容量为所有存储设备总原始容量除以 3。

以 30(N)节点(副本数 = 3)为例,可用容量示例如下:

存储设备大小(D)每节点存储设备数(M)总容量(DMN)可用容量(DMN/3)
0.5 TiB345 TiB15 TiB
2 TiB6360 TiB120 TiB
4 TiB91080 TiB360 TiB

#容量监控与扩容

  1. 主动容量规划

    始终确保可用存储容量大于消耗容量。存储空间耗尽后,恢复需人工干预,无法通过删除或迁移数据自动解决。

  2. 容量告警

    集群在两个阈值触发告警:

    • 80% 利用率(“接近满”):主动释放空间或扩容集群。
    • 95% 利用率(“已满”):存储空间完全耗尽,标准命令无法释放空间,请立即联系平台支持。

    请务必及时处理告警,定期监控存储使用,避免服务中断。

  3. 扩容建议

    • 避免:向现有节点添加存储设备。
    • 推荐:通过新增存储节点进行横向扩展。
    • 要求:新增节点存储设备大小、类型和数量需与现有节点保持一致。

#网络要求

分布式存储必须使用 HostNetwork。

#网络隔离

网络分为两类:

  • 公网网络:用于客户端与存储组件交互(如 I/O 请求)。
  • 集群网络:专用于副本间数据复制及数据均衡(如恢复)。

为保障服务质量和性能稳定:

  1. 对于专用存储集群:
    每台主机预留两个网络接口:
    • 公网网络:用于客户端和组件通信。
    • 集群网络:用于内部复制和均衡流量。
  2. 对于业务集群:
    每台主机预留一个网络接口访问存储公网网络。

示例网络隔离配置

#网络接口速率要求

  1. 存储节点

    • 公网网络和集群网络均需 10GbE 或更高速率网络接口。
  2. 业务集群节点

    • 用于访问存储公网网络的网络接口需为 10GbE 或更高。

#操作步骤

#部署 Operator

  1. 进入 管理员。

  2. 在左侧边栏点击 存储管理 > 分布式存储。

  3. 点击 立即创建。

  4. 在 部署 Operator 向导页面,点击右下角 部署 Operator 按钮。

    • 页面自动跳转下一步表示 Operator 部署成功。
    • 若部署失败,请根据界面提示选择 清理已部署信息并重试,重新部署 Operator;若需返回分布式存储选择页,点击 应用商店,先卸载已部署的 rook-operator 资源,再卸载 rook-operator。

#创建 ceph 集群

在存储集群的 控制节点 执行命令。

点击查看
cat << EOF | kubectl create -f -
apiVersion: ceph.rook.io/v1
kind: CephCluster
metadata:
  name: ceph-cluster
  namespace: rook-ceph
spec:
  cephConfig:
    global:
      mon_memory_target: "3221225472"
      mds_cache_memory_limit: "8589934592"
      osd_memory_target: "8589934592"
      bluefs_buffered_io: "false"
    mon:
      auth_allow_insecure_global_id_reclaim: "true"
      mon_warn_on_insecure_global_id_reclaim: "false"
      mon_warn_on_insecure_global_id_reclaim_allowed: "false"
  cephVersion:
    image: build-harbor.alauda.cn/3rdparty/ceph/ceph:v18.2.4-0
  dashboard:
    enabled: true
  dataDirHostPath: /var/lib/rook
  mgr:
    count: 2
    modules:
    - enabled: true
      name: pg_autoscaler
  mon:
    count: 3
  monitoring:
    enabled: true
  network:
    ipFamily: IPv4
    addressRanges:
      public:
      - <public network cidr>
      cluster:
      - <cluster network cidr>
    provider: host
  placement:
    all:
      tolerations:
      - effect: NoSchedule
        operator: Exists
      - key: "node-role.kubernetes.io/master"
        operator: "Exists"
        effect: "NoSchedule"
      - key: "node-role.kubernetes.io/control-plane"
        operator: "Exists"
        effect: "NoSchedule"
      - key: "node-role.kubernetes.io/cpaas-system"
        operator: "Exists"
        effect: "NoSchedule"
    mgr:
      podAffinity:
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
          - labelSelector:
              matchExpressions:
              - key: app
                operator: In
                values:
                - rook-ceph-mgr
              topologyKey: kubernetes.io/hostname
  priorityClassNames:
    all: system-node-critical
  resources:
    crashcollector:
      limits:
        cpu: 200m
        memory: 128Mi
      requests:
        cpu: 100m
        memory: 64Mi
    mgr:
      requests:
        cpu: "3"
        memory: 4Gi
    mon:
      requests:
        cpu: "2"
        memory: 3Gi
    osd:
      requests:
        cpu: "4"
        memory: 8Gi
  storage:
    <storage devices>
EOF

参数说明:

  • public network cidr:存储公网网络的 CIDR(例如 - 10.0.1.0/24)。
  • cluster network cidr:存储集群网络的 CIDR(例如 - 10.0.2.0/24)。
  • storage devices:指定分布式存储使用的存储设备。
    示例格式:
      nodes:
      - name: storage-node-01
        devices:
        - name: /dev/disk/by-id/wwn-0x5000cca01dd27d60
        useAllDevices: false
      - name: storage-node-02
        devices:
        - name: sdb
        - name: sdc
        useAllDevices: false
      - name: storage-node-03
        devices:
        - name: sdb
        - name: sdc
        useAllDevices: false
    提示

    使用磁盘的全球唯一名称(WWN)进行稳定命名,避免依赖如 sdb 这类重启后可能变化的设备路径。

#创建存储池

提供三种存储池类型,根据业务需求选择创建。

#创建文件池

在存储集群的 控制节点 执行命令。

点击查看
cat << EOF | kubectl apply -f -
apiVersion: ceph.rook.io/v1
kind: CephFilesystem
metadata:
  name: cephfs
  namespace: rook-ceph
spec:
  metadataPool:
    failureDomain: host
    replicated:
      requireSafeReplicaSize: true
      size: 3
  dataPools:
  - failureDomain: host
    replicated:
      requireSafeReplicaSize: true
      size: 3
  preserveFilesystemOnDelete: false
  metadataServer:
    activeCount: 1
    activeStandby: true
    placement:
      podAntiAffinity:
        requiredDuringSchedulingIgnoredDuringExecution:
        - labelSelector:
            matchExpressions:
            - key: app
              operator: In
              values:
              - rook-ceph-mds
          topologyKey: kubernetes.io/hostname
      tolerations:
      - effect: NoSchedule
        operator: Exists
    resources:
      requests:
        cpu: "3"
        memory: 8Gi
EOF

#创建块池

在存储集群的 控制节点 执行命令。

点击查看
cat << EOF | kubectl apply -f -
apiVersion: ceph.rook.io/v1
kind: CephBlockPool
metadata:
  name: block
  namespace: rook-ceph
spec:
  failureDomain: host
  replicated:
    size: 3
EOF

#创建对象池

在存储集群的 控制节点 执行命令。

点击查看
cat << EOF | kubectl apply -f -
apiVersion: ceph.rook.io/v1
kind: CephObjectStore
metadata:
  name: object
  namespace: rook-ceph
spec:
  metadataPool:
    failureDomain: host
    replicated:
      requireSafeReplicaSize: true
      size: 3
  dataPool:
    failureDomain: host
    replicated:
      requireSafeReplicaSize: true
      size: 3
  preservePoolsOnDelete: false
  gateway:
    instances: 2
    placement:
      podAntiAffinity:
        requiredDuringSchedulingIgnoredDuringExecution:
        - labelSelector:
            matchExpressions:
            - key: app
              operator: In
              values:
              - rook-ceph-rgw
          topologyKey: kubernetes.io/hostname
      tolerations:
      - effect: NoSchedule
        operator: Exists
    port: 7480
    resources:
      requests:
        cpu: "2"
        memory: 4Gi
EOF

#后续操作

当其他集群需要使用分布式存储服务时,请参考以下指南。
访问存储服务