如何设置项目冷数据的保留时间

使用项目标签覆盖特定项目日志的平台默认保留时间。

项目级覆盖目前适用于已启用热/冷分层的 ClickHouse 存储后端。OpenSearch 上的行为受限(请参阅末尾的注释)。

开始之前

确认目标存储集群:

  1. 使用带有 PlatformLogForward.spec.externalStorage.type: clickhouse 的 Alauda Container Platform Log Storage Management。
  2. 在 PlatformLogForward 上启用了热/冷分层;请参阅如何将 S3 存储与 ClickHouse 结合使用。
  3. 由你计划用于编辑 global 集群上目标项目的账户进行查询。

关于项目级保留设置

项目标签会覆盖 PLF 级别的 ttl(热)和 coldTTL(冷)值,这些值适用于标记有该项目名称的记录。

在 Project 资源上使用以下标签:

标签描述
cpaas.io/project.hotDataRetentionDays保留在活动 ClickHouse 存储中的热数据保留时间,以天为单位。
cpaas.io/project.coldDataRetentionDays数据传输到 S3 冷存储后的冷数据保留时间,以天为单位。设置为 0 可永久保留。
cpaas.io/project.logPolicyEnabled启用项目级日志策略。设置为 true。

某些环境中仍存在旧标签(cpaas.io/project.esIndicesKeepDays、cpaas.io/project.esPolicyEnabled),但新配置应使用上述标签。

编辑项目资源

  1. 登录 global 集群。

  2. 打开目标项目资源:

    kubectl edit project <project-name>
  3. 添加或更新以下标签:

    apiVersion: auth.alauda.io/v1
    kind: Project
    metadata:
      name: bookinfo
      labels:
        cpaas.io/project.hotDataRetentionDays: '7'
        cpaas.io/project.coldDataRetentionDays: '30'
        cpaas.io/project.logPolicyEnabled: 'true'

通过平台的跨集群策略同步,该更改将在一分钟内传达到存储集群。

标签行为

  • cpaas.io/project.hotDataRetentionDays
    控制项目的热数据在 ClickHouse 活跃存储中保留多长时间,之后将其移动(启用分层时)或删除(禁用分层时)。
  • cpaas.io/project.coldDataRetentionDays
    控制项目的冷数据传输到 S3 后保留多长时间。
  • cpaas.io/project.logPolicyEnabled
    必须设置为 true,项目级保留策略才能生效。

版本说明

  • ACP 4.2 环境中可能会同时存在旧标签和新标签,以确保兼容性。
  • ACP 4.3 及更高版本(包括 ACP 4.4)使用新标签作为真实来源。
  • 如果您的环境中仍包含 cpaas.io/project.esIndicesKeepDays 或 cpaas.io/project.esPolicyEnabled 等旧标签,请在新配置中优先使用新标签。
项目级保留策略对 OpenSearch 不生效

在 OpenSearch 存储后端上,上述项目范围标签目前不会生效。operator 会跳过在 OS 后端写入 log-policy-config,而用于协调 ISM 策略的 razor-api cron 只会读取策略,不会写入策略。因此:

  • cpaas.io/project.hotDataRetentionDays — 不生效。
  • cpaas.io/project.coldDataRetentionDays — 不生效(OpenSearch 分层存储本身也是在平台之外预配的)。
  • cpaas.io/project.logPolicyEnabled — 不生效。

OpenSearch 存储集群上的每个项目都会保留平台默认的保留时间。如果每个项目的保留时间是合规要求,请选择 ClickHouse 后端,或直接针对 OpenSearch 集群应用您自己的 ISM 策略。

有关 OS 特定注意事项的完整列表,请参阅日志组件选择指南 — 已知的 OpenSearch 后端限制。

相关主题