使用 Kyverno 约束 Tekton Pipeline 执行

使用 Kyverno 回答以下问题:“团队是否可以运行自己的 Task?”、“必须使用哪个模板?”以及“哪些工具镜像可以执行?”Task 定义步骤;Pipeline 连接 Task;TaskRuns 和 PipelineRuns 执行这些定义。Kyverno 会根据平台管理员编写的规则,检查它们向 Kubernetes API 发出的请求。

它可以检查提交到 Kubernetes API 的对象、为 TaskRun 创建的 Pod,以及写入已完成运行的选定字段。它不会替代 Tekton 的执行语义,也无法证明任意 shell 命令将执行什么操作。

本指南是一份能力映射,其中使用了通用示例。尖括号中的值是有意设置的占位符。在应用策略之前,请将其替换为平台团队管理的值。有关具体的 CI 场景,请参阅 Constrain Catalog Pipeline Usage with Kyverno。该配套页面使用由 ArtifactHub Shim 提供的 Pipeline,并展示如何将这些通用控制转换为针对用户配置、参数和扫描结果的实际限制。设计原理请参阅 Pipeline Policy Constraints with Tekton and Kyverno。

可约束的内容

Kyverno 会在 Tekton 执行过程的不同阶段看到不同的对象。请选择包含要管控事实的对象。

对象和阶段可检查的字段典型结果
Task admissionmetadata、spec.params、spec.workspaces、spec.steps 和 spec.sidecars要求所有权标签、禁止特权步骤,或限制本地注册 Task 中的工具镜像。
Pipeline admissionspec.tasks、spec.finally、taskRef、taskSpec、when 和 onError拒绝内联 Task、要求扫描器依赖,或禁止在本地注册的 Pipeline 中忽略门禁失败。
PipelineRun 或 TaskRun admissionResolver 参数、引用、spec.params、taskRunTemplate、taskRunSpecs 和 Pod 模板要求经过审核的模板、保持扫描启用、限制执行 ServiceAccount,或限制运行时覆盖。
Tekton Pod admission每个已解析的步骤、sidecar 和 init-container 镜像,以及 Pod 安全字段限制镜像仓库,并在解析后强制实施 Pod 安全基线。
PipelineRun/status 或 TaskRun/status audit完成条件和 status.results在执行后记录缺少的结果、意外结果或阈值违规。

时机很重要。在接纳 PipelineRun 时可以获取 Resolver 引用,但获取的 Pipeline 及其标签尚不一定可用。用户还可以提交看起来像平台标签的标签。使用 Resolver 参数做出接纳决策,并使用标签或结果进行执行后审计。

生命周期为:运行接纳、远程解析、子 TaskRun 接纳、Pod 接纳,然后是状态更新。远程获取的 Task 或 Pipeline 不会作为 Kubernetes 对象存储,但 Tekton 会在运行所在的命名空间中,通过服务器端 dry-run 验证获取的 Pipeline,因此其中的 Pipeline 策略也可以看到获取的 YAML,拒绝操作会导致运行失败。子 TaskRun 的引用在其接纳阶段可见,但远程 Task 的正文可能仍未解析。Pod 接纳可以看到已解析的容器配置。

Kyverno 只是控制层中的一层;请将其与以下步骤结合使用:

  • 使用 RBAC 决定谁可以创建或更新 Tekton 对象。
  • 仅当每个命名空间都遵循相同规则时,才使用 operator 的 inline-spec 功能标志作为集群范围的基线。该标志会拒绝每个命名空间中的内联 spec,包括 PAC 从包含内联 pipelineSpec 的 .tekton/ 文件创建的运行,以及在默认 PAC 设置 remote-tasks: "true" 下,PAC 将已解析的 Pipeline 或 Task 嵌入其中的运行。在该默认设置下,只有通过 pipelineRef.resolver 引用其 Pipeline 的 PAC 运行,才不会因嵌入 pipelineSpec 而被拒绝;请参阅第 1 节中的警告。
  • 让 catalog 和 Pipeline 源保持在审核之下。
  • 确保在 air-gapped 集群中可以访问镜像仓库。

单个策略本身无法提供模板完整性。

前提条件

  • Tekton Pipelines 及其 validating webhook 已安装,并配置为对无效的 Tekton 资源拒绝请求。
  • Kyverno admission、background 和 reports controllers 均为 Ready 状态。示例已使用 Kyverno engine 1.15.9 和 Tekton v1 资源进行验证。本指南使用 kyverno.io/v1 ClusterPolicy API 和 kyverno.io/v2 PolicyException API。
  • 你可以创建策略;如果例外流程允许,还可以创建范围严格限定的 PolicyException 对象。
  • 已知受管控的命名空间、resolver catalog 和内部镜像仓库。
  • 在 air-gapped 集群中,从批准的离线仓库安装 Kyverno、resolver 配置、策略 YAML 以及所有引用的镜像。

从 Audit 开始,并匹配一个临时命名空间。命名空间匹配限制的是策略的评估位置,而不是 Kyverno webhook 的调用位置:每个 ClusterPolicy 都会在 Kyverno 的共享 validating webhook(validate.kyverno.svc-fail)中注册其资源类型,范围覆盖整个集群,即使处于 Audit 模式也是如此。当 Kyverno admission controller 不可用时,API server 会在 Kyverno 全局设置未排除的每个命名空间中,拒绝针对这些类型的请求,包括其他团队的 Pod 和 Tekton 运行。只有在了解其匹配范围和合法例外后,才将策略移至 Enforce。下面使用 background: false,因为这些示例旨在评估 admission 或状态更新,而不是重写历史记录。这些示例是选择启用的策略,并非已安装的产品默认设置。

读取并安装策略

字段含义
match此规则检查哪些资源和命名空间。使用限定的 Tekton 类型,以避免与名称相似的平台 API 混淆。
exclude不经过此规则的可信身份或资源。
preconditions应在何时运行匹配的规则,例如仅在完成后运行。
validate导致拒绝的必需模式或条件。{{ ... }} 中的表达式使用 JMESPath 读取 admission 请求。
validate.failureAction在每个验证规则上设置:Audit 允许违规并记录违规;Enforce 拒绝违规。更改一个规则不会更改其他规则。
webhookConfiguration.failurePolicy当无法执行验证时,Fail 会拒绝请求。这与资源未通过规则不同。

策略级别的 spec.validationFailureAction 已弃用,并将在未来的 Kyverno 版本中移除。请按下面所示使用 spec.rules[].validate.failureAction;参阅 Kyverno 验证规则。 迁移旧策略时,将其操作移至每个验证规则中,并移除策略级别字段。

将下面的每个完整策略分别放入自己的 YAML 文件中,替换其中的占位符,并首先在每个规则上设置 validate.failureAction: Audit。例如,将第一个策略保存为 tekton-no-inline-execution-specs.yaml,并在更改其全部四个规则后运行:

kubectl apply --dry-run=server -f tekton-no-inline-execution-specs.yaml
kubectl apply -f tekton-no-inline-execution-specs.yaml
kubectl wait --for=condition=Ready clusterpolicy/tekton-no-inline-execution-specs --timeout=60s

对其他策略使用相同的 apply/wait 操作步骤。单独存在的 Ready 策略并不能证明它会匹配某次运行:请执行下面的正向和负向检查。

1. 关闭内联和直接运行绕过

用例:要求工作流通过经过审查的 Pipeline 进入,并防止用户在运行或定义中嵌入 taskSpec 或 pipelineSpec。

强制执行点:对 TaskRun 创建请求以及 PipelineRun 或 Pipeline 创建/更新请求执行 admission。被拒绝的请求永远不会到达 Tekton controller。

PipelineRun 和 Pipeline 规则会在 match 中的 operations 下列出 CREATE 和 UPDATE。 如果没有此列表,当对象被删除时,Kyverno 也会针对正在删除的对象评估这些 deny 规则。通过规则的对象仍可被删除,但违反规则的对象将无法删除,例如在规则处于 Audit 状态时或策略存在之前已被准入的 PipelineRun。 Pruner 通过相同的 API 请求删除运行,因此它删除此类运行时也会以相同方式被拒绝。

独立的 TaskRun 规则仅在 match 中的 operations 下列出 CREATE,并且仅检查 CREATE。如果没有此列表,Kyverno 还会在其共享 webhook 中为整个集群注册针对 TaskRun 的 UPDATE 和 DELETE 操作。Tekton controller ServiceAccount 被排除在外,因为它会为已接受的 PipelineRun 创建子 TaskRun。如果集群使用自定义的 Tekton 安装,请更改 ServiceAccount 和命名空间。这是经过身份验证的请求身份,而不是 spec.serviceAccountName,也不是用户可以提供的所有者标签。RBAC 必须防止用户冒用此身份,或在该身份下运行自己的 Pod。不要将此规则扩展到 UPDATE:tekton-results-watcher 和 tekton-chains-controller 组件会在主资源上更新 TaskRun 元数据和 finalizer,因此拒绝这些更新可能会阻止结果存储、签名和 finalizer 移除。

EventListener 和 ScheduledTrigger controller 会创建其 TriggerTemplate 的资源,而它们的请求并非来自 Tekton controller ServiceAccount。因此,此规则也会拒绝此类模板中包含的 TaskRun。包含 PipelineRun 的模板不受影响,因为 Tekton controller 会创建其子 TaskRun。EventListener 仍会以 HTTP 202 响应事件,拒绝信息会记录在 EventListener Pod 的日志中;ScheduledTrigger 则会在 FailedCreate warning 事件中记录该信息。如果其他受信任组件必须创建 TaskRun,也请将其 ServiceAccount 添加到这一范围有限的排除项中。

apiVersion: kyverno.io/v1
kind: ClusterPolicy
metadata:
  name: tekton-no-inline-execution-specs
spec:
  background: false
  webhookConfiguration:
    failurePolicy: Fail
  rules:
    - name: deny-standalone-taskrun
      match:
        any:
          - resources:
              kinds:
                - tekton.dev/v1/TaskRun
              namespaces:
                - <governed-namespace>
              operations:
                - CREATE
      exclude:
        any:
          - subjects:
              - kind: ServiceAccount
                name: tekton-pipelines-controller
                namespace: tekton-pipelines
      validate:
        failureAction: Enforce
        message: "Create TaskRuns through an approved PipelineRun; standalone TaskRuns are disabled."
        deny:
          conditions:
            any:
              - key: "{{ request.operation }}"
                operator: Equals
                value: CREATE
    - name: deny-pipelinerun-inline-pipelinespec
      match:
        any:
          - resources:
              kinds:
                - tekton.dev/v1/PipelineRun
              namespaces:
                - <governed-namespace>
              operations:
                - CREATE
                - UPDATE
      validate:
        failureAction: Enforce
        message: "Use pipelineRef with the approved resolver; inline pipelineSpec is disabled."
        deny:
          conditions:
            any:
              - key: "{{ request.object.spec.pipelineSpec || '' }}"
                operator: NotEquals
                value: ""
    - name: deny-pipeline-inline-taskspec
      match:
        any:
          - resources:
              kinds:
                - tekton.dev/v1/Pipeline
              namespaces:
                - <governed-namespace>
              operations:
                - CREATE
                - UPDATE
      validate:
        failureAction: Enforce
        message: "Use taskRef entries from an approved source; inline taskSpec entries are disabled."
        deny:
          conditions:
            any:
              - key: "{{ length(request.object.spec.tasks[?taskSpec] || `[]`) }}"
                operator: GreaterThan
                value: 0
    - name: deny-pipeline-inline-finally-taskspec
      match:
        any:
          - resources:
              kinds:
                - tekton.dev/v1/Pipeline
              namespaces:
                - <governed-namespace>
              operations:
                - CREATE
                - UPDATE
      validate:
        failureAction: Enforce
        message: "Use taskRef entries from an approved source; inline finally taskSpec entries are disabled."
        deny:
          conditions:
            any:
              - key: "{{ length(request.object.spec.finally[?taskSpec] || `[]`) }}"
                operator: GreaterThan
                value: 0

Tekton 还提供由 operator 管理的基线设置 disable-inline-spec。在默认安装中,TektonConfig 拥有名为 pipeline 的 TektonPipeline 资源,并将自身的 spec.pipeline 复制到其中,因此请使用下面的 merge patch,在 TektonConfig 的 spec.pipeline.disable-inline-spec 中设置该值。

WARNING

disable-inline-spec 是集群范围的设置。使用下面的值时,Tekton webhook 会在每个命名空间中拒绝:

  • 所有嵌入 pipelineSpec 的 PipelineRun。这包括 PAC 根据带有内联 pipelineSpec 的 .tekton/ 文件创建的运行,以及在默认 PAC 设置 remote-tasks: "true" 下,PAC 嵌入已解析 Pipeline 或 Task 的运行(对于不带 resolver 的 pipelineRef 或 taskRef,PAC 会嵌入这些对象;请参阅 PAC Resolver)。使用该默认设置时,只有通过 pipelineRef.resolver 引用其 Pipeline 的 PAC 运行不受此检查影响;
  • 所有嵌入 taskSpec 的 TaskRun,包括 PipelineRun controller 为 Pipeline 任务创建的 TaskRun,其中该任务通过 taskSpec 内联定义其 Task;
  • 所有其任务以内联方式定义 taskSpec 或 pipelineSpec 的 Pipeline。

已经运行的 PipelineRun 也会受到影响。如下所示,在值中加入 pipeline 后,controller 会在下一次 reconcile 时再次检查运行的 Pipeline:如果某个任务以内联方式定义 taskSpec 或 pipelineSpec,运行将失败,原因是 PipelineValidationFailed,消息为 [User error] Pipeline <namespace>/<name> can't be Run; it has an invalid spec: ...。如果值中包含 taskrun 但不包含 pipeline,当运行到带有内联 taskSpec 的任务时,运行会因无法创建其 TaskRun 而以原因 CreateRunFailed 失败。

请先读取当前值 (kubectl get tektonconfig config -o jsonpath='{.spec.pipeline.disable-inline-spec}')。 要撤销更改,请移除该字段;空值会重新允许内联规范:

kubectl patch tektonconfig config --type merge \
  -p '{"spec":{"pipeline":{"disable-inline-spec":null}}}'

如果更改前该字段已有值,请重新设置为原值。对于不由 TektonConfig 拥有的 TektonPipeline,请以相同方式从其 spec 中移除 disable-inline-spec。

使用 merge patch 设置该值。此操作需要对集群范围的 TektonConfig 执行 patch 的权限,通常需要集群管理员权限:

kubectl patch tektonconfig config --type merge \
  -p '{"spec":{"pipeline":{"disable-inline-spec":"taskrun,pipelinerun,pipeline"}}}'

对于不由 TektonConfig 拥有的 TektonPipeline,请改为在其 spec 中设置该字段。以下是现有 TektonPipeline 的配置片段,不是新的安装配置:

apiVersion: operator.tekton.dev/v1alpha1
kind: TektonPipeline
metadata:
  name: <tekton-pipeline-resource>
spec:
  disable-inline-spec: "taskrun,pipelinerun,pipeline"

要确认该值已生效,请从 tekton-pipelines 中的 feature-flags ConfigMap 读取该值。Operator 会写入此 ConfigMap,Tekton webhook 会读取它。 tekton-pipelines 是 TektonConfig spec.targetNamespace 的默认值;如果安装使用其他命名空间,请在命令中替换它。读取该 ConfigMap 需要对 tekton-pipelines 中的 ConfigMap 具有读取权限,通常需要集群管理员权限:

kubectl get configmap feature-flags -n tekton-pipelines -o jsonpath='{.data.disable-inline-spec}'

输出必须是你设置的值,例如 taskrun,pipelinerun,pipeline。输出为空表示仍允许内联规范。

当每个命名空间都遵循相同规则时,功能标志非常有用。当发布范围、拒绝消息、PolicyReports 或例外情况很重要时,Kyverno 很有用。功能标志不会创建策略报告,且这两种选项都不能替代 RBAC。 该标志会禁止内联规范,但不会禁止使用 taskRef 的独立 TaskRun。Kyverno PolicyException 无法绕过 Tekton 功能标志。

2. 要求使用经过审核的 resolver 引用

使用场景:要求每个受管控的 PipelineRun 通过 hub resolver 标识远程 Pipeline。第一条规则仅检查引用格式;第二个策略将引用限制为经过审核的 name@version 对。

强制执行点:PipelineRun admission。此规则不会检查远程 Pipeline 的内容。本节的两条规则都在 operations 下列出 CREATE 和 UPDATE,原因与第 1 节所述相同。

apiVersion: kyverno.io/v1
kind: ClusterPolicy
metadata:
  name: tekton-pipelineruns-use-hub-resolver
spec:
  background: false
  webhookConfiguration:
    failurePolicy: Fail
  rules:
    - name: require-hub-reference-shape
      match:
        any:
          - resources:
              kinds:
                - tekton.dev/v1/PipelineRun
              namespaces:
                - <governed-namespace>
              operations:
                - CREATE
                - UPDATE
      validate:
        failureAction: Enforce
        message: "PipelineRuns must use a hub resolver with catalog, pipeline kind, name, and version."
        deny:
          conditions:
            any:
              - key: "{{ request.object.spec.pipelineRef.resolver || '' }}"
                operator: NotEquals
                value: hub
              - key: "{{ request.object.spec.pipelineRef.params[?name=='catalog'].value | [0] || '' }}"
                operator: Equals
                value: ""
              - key: "{{ request.object.spec.pipelineRef.params[?name=='kind'].value | [0] || '' }}"
                operator: NotEquals
                value: pipeline
              - key: "{{ request.object.spec.pipelineRef.params[?name=='name'].value | [0] || '' }}"
                operator: Equals
                value: ""
              - key: "{{ request.object.spec.pipelineRef.params[?name=='version'].value | [0] || '' }}"
                operator: Equals
                value: ""

添加第二个策略,仅允许经过审核的 name@version 对。特定 Catalog 的配对可以放在 Catalog 指南中,但该指南目前不包含此类列表。一个最小规则如下:

apiVersion: kyverno.io/v1
kind: ClusterPolicy
metadata:
  name: tekton-pipelineruns-approved-versions
spec:
  background: false
  webhookConfiguration:
    failurePolicy: Fail
  rules:
    - name: allow-approved-pipeline-versions
      match:
        any:
          - resources:
              kinds:
                - tekton.dev/v1/PipelineRun
              namespaces:
                - <governed-namespace>
              operations:
                - CREATE
                - UPDATE
      validate:
        failureAction: Enforce
        message: "PipelineRuns may reference only an approved name@version pair."
        deny:
          conditions:
            all:
              - key: "{{ request.object.spec.pipelineRef.params[?name=='name'].value | [0] || '' }}@{{ request.object.spec.pipelineRef.params[?name=='version'].value | [0] || '' }}"
                operator: AnyNotIn
                value:
                  - <pipeline-name>@<pipeline-version>

在 value 下列出每个经过审核的配对。name@version 未列出的引用会被拒绝,并显示策略消息;列出的配对则会被允许。

3. 限制可以执行的镜像

使用场景:防止已解析的 Task 使用批准的 registry 之外的镜像启动。这是每个已解析步骤的镜像都可见的第一个位置。

强制执行点:Task 启动前的 Pod admission。列表必须包含 Tekton helper 镜像,以及平台注入的任何 init 镜像和主要工具镜像。在两个表达式中都将 registry 主机替换为实际批准的主机。转义字面量点,并保留结尾的 /,这样相似的 registry 名称就无法匹配。

apiVersion: kyverno.io/v1
kind: ClusterPolicy
metadata:
  name: tekton-pod-images-from-approved-registries
spec:
  background: false
  webhookConfiguration:
    failurePolicy: Fail
  rules:
    - name: check-step-images
      match:
        any:
          - resources:
              kinds:
                - Pod
              namespaces:
                - <governed-namespace>
              selector:
                matchExpressions:
                  - key: tekton.dev/taskRun
                    operator: Exists
      validate:
        failureAction: Enforce
        message: "Every Tekton step image must come from an approved registry."
        foreach:
          - list: "request.object.spec.containers || `[]`"
            deny:
              conditions:
                any:
                  - key: "{{ regex_match('^(registry[.]example[.]com|registry[.]internal[.]example[.]com)/', element.image) }}"
                    operator: Equals
                    value: false
    - name: check-init-images
      match:
        any:
          - resources:
              kinds:
                - Pod
              namespaces:
                - <governed-namespace>
              selector:
                matchExpressions:
                  - key: tekton.dev/taskRun
                    operator: Exists
      validate:
        failureAction: Enforce
        message: "Every Tekton init-container image must come from an approved registry."
        foreach:
          - list: "request.object.spec.initContainers || `[]`"
            deny:
              conditions:
                any:
                  - key: "{{ regex_match('^(registry[.]example[.]com|registry[.]internal[.]example[.]com)/', element.image) }}"
                    operator: Equals
                    value: false

selector 会将无关的应用 Pod 排除在策略评估之外,但不会将其排除在 Kyverno 的 webhook 之外:Kyverno 会为整个集群注册 Pod 请求,因此当其 admission controller 不可用时,API server 会拒绝在 Kyverno 全局设置未排除的每个命名空间中创建 Pod(请参阅先决条件)。专用的 pipeline 命名空间通常更简单。在切换到 Enforce 之前,请检查 server-side dry run,因为 admission webhook 可能会在提交的 Pod 模板渲染后注入内部 helper 镜像。

此策略检查的是可执行镜像,而不是构建输出目标、构建步骤内部拉取的镜像、镜像签名或任意网络流量。对于这些问题,请使用参数策略、registry 权限和网络控制。使用 RBAC 限制直接创建 Pod;能够创建未标记 Pod 的用户可以绕过此 selector。

4. 审计已完成运行报告的内容

使用场景:在 resolver 完成后检测缺失或异常的模板标签,而不将用户控制的标签视为 admission 身份。

强制执行点:PipelineRun/status 更新。规则为 Audit;它不会阻止初始的 PipelineRun 请求。Kyverno 无法对 status 子资源使用后台扫描,因此此规则记录新的 status 变更,而不是历史运行。 Kyverno 会将经过审计的 PipelineRun 设置为其 PolicyReport 的所有者,因此无论由 kubectl delete 还是 Pruner 删除运行,报告都会随运行一同删除。请在运行存在期间保存报告(例如使用 kubectl get policyreport -n <governed-namespace> -o yaml),或者在审计所需的整个期间保留运行。 通过标签检查表示一致性信号,而不是来源证明:即使在完成后,手动提供的标签仍然可以伪造。切勿在结果规则上使用 Enforce 来尝试停止已经发生的工作;拒绝 controller 的 status 写入可能会导致运行卡住,却无法撤销其影响。

对于 status 规则,请显式检查 reports-controller 的权限:

# Substitute the namespace and reports-controller identity of your installation.
POLICY_NAMESPACE="<governed-namespace>"
KYVERNO_NAMESPACE="<kyverno-namespace>"
REPORTS_CONTROLLER_SERVICEACCOUNT="<reports-controller-serviceaccount>"
kubectl auth can-i get pipelineruns.tekton.dev --subresource=status \
  --as="system:serviceaccount:${KYVERNO_NAMESPACE}:${REPORTS_CONTROLLER_SERVICEACCOUNT}" \
  -n "$POLICY_NAMESPACE"

如果策略安装报告缺少权限,管理员可以在受管控的命名空间中授予以下只读访问权限。这也涵盖配套的 Catalog TaskRun 审计。请先替换每个占位符;Role 和 RoleBinding 都必须保留 metadata.namespace: <governed-namespace>,以便绑定引用同一命名空间中的 Role。在应用 status 策略之前应用 Role 和 RoleBinding:

apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: tekton-policy-report-reader
  namespace: <governed-namespace>
rules:
  - apiGroups:
      - tekton.dev
    resources:
      - pipelineruns
      - pipelineruns/status
      - taskruns
      - taskruns/status
    verbs:
      - get
      - list
      - watch
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: tekton-policy-report-reader
  namespace: <governed-namespace>
subjects:
  - kind: ServiceAccount
    name: <reports-controller-serviceaccount>
    namespace: <kyverno-namespace>
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: tekton-policy-report-reader
apiVersion: kyverno.io/v1
kind: ClusterPolicy
metadata:
  name: tekton-resolved-template-label-audit
spec:
  background: false
  rules:
    - name: completed-run-has-template-label
      match:
        any:
          - resources:
              kinds:
                - tekton.dev/v1/PipelineRun
                - tekton.dev/v1/PipelineRun/status
              namespaces:
                - <governed-namespace>
      preconditions:
        all:
          - key: "{{ request.object.status.conditions[?type=='Succeeded'].status | [0] || '' }}"
            operator: AnyIn
            value:
              - "True"
              - "False"
      validate:
        failureAction: Audit
        message: "The completed PipelineRun does not carry the expected template label."
        pattern:
          metadata:
            labels:
              "<template-label-key>": "<approved-template-label-value>"

将 <template-label-key> 和 <approved-template-label-value> 替换为已批准的 Pipelines 在 metadata.labels 中设置的标签键和值。当 Tekton 解析某次运行的 Pipeline 时,会将 Pipeline 的标签复制到 PipelineRun;如果 PipelineRun 已设置某个标签键,则会保留运行自身的值,但 tekton.dev/pipeline 除外,Tekton 会将其设置为已解析 Pipeline 的名称。

对 task results 使用类似的 TaskRun/status 策略。结果名称和值格式因 Task 而异;不要臆造通用的结果约定。Catalog 指南展示了某个 Pipeline 版本的实际 sonarqube-scanner 和 trivy-scanner 约定。

安全地推出策略并设置例外

  1. 将每个规则的 validate.failureAction 设置为 Audit,在临时命名空间中安装策略,并检查 PolicyReport。

  2. 创建一个有效对象和一个故意违规的对象。缺少报告可能意味着规则未匹配,因此请检查命名空间、GVK 和前置条件。

  3. 对于每个准入策略,将每个规则的 validate.failureAction 更改为 Enforce,从范围最小的命名空间开始。将 status 审计规则保留在 Audit 中。

  4. 保留一个仅指定一个策略、一个规则、一个命名空间和一个资源的例外。

  5. 为例外指定负责人和过期时间。现有对象不会被追溯拒绝,但更新对象以及新创建的子对象可能会被拒绝。

    apiVersion: kyverno.io/v2
    kind: PolicyException
    metadata:
      name: <temporary-pipeline-policy-exception>
      namespace: <exception-namespace>
    spec:
      exceptions:
        - policyName: tekton-pipelineruns-use-hub-resolver
          ruleNames:
            - require-hub-reference-shape
      match:
        any:
          - resources:
              kinds:
                - tekton.dev/v1/PipelineRun
              namespaces:
                - <governed-namespace>
              names:
                - <specific-run-name>

不要授予集群范围的通配符例外。必须将 Kyverno 配置为允许 PolicyException 资源。为 Kyverno admission controller(或等效的 chart values)同时配置 --enablePolicyException=true 和 --exceptionNamespace=<exception-namespace>。在 Kyverno 1.15 中,如果启用该功能时未配置允许的命名空间,或在其他命名空间中创建对象,会产生准入警告,但仍会存储 PolicyException;例外选择器不会使用该对象,因此不会产生任何效果。请先配置允许的命名空间并在那里创建对象,然后将任何准入警告视为例外设置失败。RBAC 还必须限制哪些用户可以创建例外。允许的例外命名空间可以不同于匹配运行的命名空间。除非平台单独将其自动化,否则过期处理属于审查/删除流程;上述资源没有自动 TTL。例外只会跳过其指定的规则,不会跳过匹配同一运行的其他策略。

默认情况下,Kyverno 允许保留预先存在的违规的更新。如果这些更新也必须被拒绝,请在评估其对运行中工作负载的影响后,在规则上设置 validate.allowExistingViolations: false。将 status 审计策略保留在 Audit 中。

自我验证

替换占位符后,在一个可弃用的命名空间中运行以下检查。将第 1 至第 3 节策略中每个规则的 validate.failureAction 设置为 Enforce,并将标签审计规则保留在 Audit 中。在安装第 2 节的 name@version allowlist 策略或特定于 Catalog 的策略之前,先测试这组通用策略;否则,这些附加规则也 必须允许每个正向请求。服务器 dry run 会执行准入检查,但不会启动构建或拉取镜像。它们不会创建持久的 PolicyReport。

# The namespace must match the installed policies.
export POLICY_NAMESPACE="<governed-namespace>"

kubectl create namespace "$POLICY_NAMESPACE" --dry-run=client -o yaml | kubectl apply -f -

# Rejected by deny-standalone-taskrun, even though taskRef is not inline.
kubectl apply --dry-run=server -n "$POLICY_NAMESPACE" -f - <<'YAML'
apiVersion: tekton.dev/v1
kind: TaskRun
metadata:
  name: policy-negative-taskrun
spec:
  taskRef:
    name: local-task
YAML

# Allowed by the generic resolver-shape policy; no remote template is executed.
kubectl apply --dry-run=server -n "$POLICY_NAMESPACE" -f - <<'YAML'
apiVersion: tekton.dev/v1
kind: PipelineRun
metadata:
  name: policy-positive-pipelinerun
spec:
  pipelineRef:
    resolver: hub
    params:
      - name: catalog
        value: <catalog-name>
      - name: type
        value: artifact
      - name: kind
        value: pipeline
      - name: name
        value: <pipeline-name>
      - name: version
        value: "<pipeline-version>"
YAML

# Rejected by deny-pipeline-inline-finally-taskspec. Moving inline-cleanup into
# tasks tests deny-pipeline-inline-taskspec instead.
kubectl apply --dry-run=server -n "$POLICY_NAMESPACE" -f - <<'YAML'
apiVersion: tekton.dev/v1
kind: Pipeline
metadata:
  name: policy-negative-finally
spec:
  tasks:
    - name: reviewed-task
      taskRef:
        name: reviewed-task
  finally:
    - name: inline-cleanup
      taskSpec:
        steps:
          - name: cleanup
            image: registry.example.com/tools/busybox:latest
            script: echo cleanup
YAML

# Rejected by check-step-images. Substitute an approved local registry to test
# admission success; include any platform-injected init-image registry in the policy.
kubectl apply --dry-run=server -n "$POLICY_NAMESPACE" -f - <<'YAML'
apiVersion: v1
kind: Pod
metadata:
  name: policy-image-check
  labels:
    tekton.dev/taskRun: policy-image-check
spec:
  restartPolicy: Never
  containers:
    - name: step-check
      image: unapproved.example.com/tools/busybox:latest
      command:
        - "true"
YAML

同一组策略的其他检查:

更改预期决策
将正向运行的 pipelineRef 替换为有效的 inline pipelineSpec被 deny-pipelinerun-inline-pipelinespec 和 resolver 规则拒绝。
将其 resolver 设置为 git,或省略版本被 require-hub-reference-shape 拒绝。
在 Pod 的 initContainers 下添加未经批准的镜像被 check-init-images 拒绝。
使用 registry.example.com.unapproved.example.com被拒绝;允许的 registry 前缀包含 /。

如需进行实际的 status 审计,请将一个有意不存在的模板提交到配置的本地 catalog。此操作不会执行 Task,也不需要外部镜像。该请求应被允许, 随后远程解析失败,并生成缺少标签的审计:

kubectl apply -n "$POLICY_NAMESPACE" -f - <<'YAML'
apiVersion: tekton.dev/v1
kind: PipelineRun
metadata:
  name: policy-audit-missing-template
spec:
  pipelineRef:
    resolver: hub
    params:
      - name: type
        value: artifact
      - name: catalog
        value: <catalog-name>
      - name: kind
        value: pipeline
      - name: name
        value: policy-nonexistent-template
      - name: version
        value: "0.1"
YAML
kubectl wait -n "$POLICY_NAMESPACE" --for=condition=Succeeded=False \
  pipelinerun/policy-audit-missing-template --timeout=180s
kubectl get policyreport -n "$POLICY_NAMESPACE"
kubectl describe policyreport -n "$POLICY_NAMESPACE"

请为 reports controller 留出协调时间。在此次运行中查找针对 completed-run-has-template-label 的 fail 结果。Tekton 的解析失败 与审计彼此独立;Kyverno 没有拒绝该请求。对于通过的情况,运行一个会传播已配置标签的获准模板, 并改为检查 pass。error 中的结果,或没有匹配的结果, 都不能证明符合要求。

测试完成后,仅删除你创建的示例运行、策略、例外、Role 和 RoleBinding。仅当该命名空间可弃用时才删除它。不要删除共享策略。

故障排除

  • 控制器创建子 TaskRun 时被拒绝。将实际的 Tekton controller ServiceAccount 添加到规则排除项中;不要豁免整个命名空间。来自 tekton-results-watcher 或 tekton-chains-controller 的元数据更新有意不受此仅创建规则约束。
  • EventListener 或 ScheduledTrigger 未创建其 TaskRun。独立的 TaskRun 规则会拒绝 TriggerTemplate 所持有的 TaskRun。EventListener 仍会以 HTTP 202 响应,并在其 Pod 中记录拒绝日志;ScheduledTrigger 会显示 FailedCreate 警告事件。修改模板,使其创建 PipelineRun。
  • 类似 resolver 的运行被拒绝。Resolver 参数必须是独立条目,并使用确切的名称 catalog、type、kind、name 和 version。运行时 Pipeline 参数应置于 spec.params 下。
  • PipelineRun 通过后 Pod 被拒绝。Pod 准入检查最终解析出的镜像列表。添加每个获准的辅助 registry,或创建范围狭窄的例外。
  • Audit 规则没有报告。检查 status 子资源匹配、终止条件前置条件、reports-controller 权限以及资源所在的命名空间。
  • 现有违规仍然存在。准入不会重写历史记录。使用 reports,或通过获准路径更新对象。

推荐设置

启用时机。启用独立的 TaskRun 规则,拒绝来自 Tekton Pipelines controller 之外任何身份的 TaskRun 创建请求,从而使用户无法直接创建 TaskRun。该规则检查请求发送者,而不是检查 PipelineRun 是否拥有 TaskRun。此规则本身不会限制运行所执行的内容:能够创建 PipelineRun 的用户仍可以嵌入 pipelineSpec,或通过 resolver 引用任意 Pipeline。若要限制运行可以使用哪些 Pipeline,还应启用第 1 节中的 inline-spec 规则,以及第 2 节中的 resolver 规则(引用形状规则和 name@version allowlist)。Resolver 规则检查的是引用,而不是远程 Pipeline 的内容:实际运行的步骤来自引用所指向版本所在 Hub 中的命名版本。Tekton 会在运行所在的命名空间中使用服务器端 dry-run 验证获取的 Pipeline,因此第 1 节中的 Pipeline 规则同样适用:包含 inline taskSpec 的获取 Pipeline 会使运行因 PipelineValidationFailed 失败。引用形状规则只要求非空的 catalog,不会拒绝请求级别的 url 参数;Hub resolver 会使用该参数替代其配置的 Hub。若要将步骤绑定到平台 catalog,还应将 catalog 固定为平台 catalog 名称,并拒绝请求级别的 url,如 Catalog 指南 Constrain Catalog Pipeline Usage with Kyverno 中的策略所示;然后审查允许的 catalog 版本内容,并限制可执行的镜像(第 3 节)。RBAC 授予创建运行的权限;Kyverno 仍可以拒绝 RBAC 允许的创建请求。

推荐值。拒绝并非来自 Tekton controller ServiceAccount 的 TaskRun 创建请求(第 1 节中的 deny-standalone-taskrun 规则)。该规则还会拒绝 EventListener 或 ScheduledTrigger 根据其 TriggerTemplate 创建的 TaskRun,因此应让此类模板创建 PipelineRun。如果其他受信任组件必须创建 TaskRun,请将其 ServiceAccount 添加到范围狭窄的排除项中;Pipeline Policy Constraints with Tekton and Kyverno 中展示了 request.userInfo 模式。以 failureAction: Audit 开始每条规则,审查 PolicyReport 结果,并按照安全地推出并创建例外中的说明切换到 Enforce。

第 1 节中的 inline-spec 规则是可选的。deny-pipelinerun-inline-pipelinespec 规则会拒绝每个携带 pipelineSpec 的 PipelineRun。这包括 PAC 根据包含 inline pipelineSpec 的 .tekton/ 文件创建的运行(请参阅使用 pipelineSpec 定义 Inline Pipeline),以及在默认 PAC 设置 remote-tasks: "true" 下,PAC 将已解析的 Pipeline 或 Task 嵌入其中的运行(请参阅PAC Resolver)。仅在运行通过 pipelineRef.resolver 引用其 Pipeline 的命名空间中启用 inline-spec 规则。

要确认策略正常工作,请运行自验证中的检查。要撤销策略,请将其文件中每条规则的 validate.failureAction 改回 Audit,然后重新应用该文件;规则随后会允许违规,并仅记录这些违规。位于 Audit 中的策略仍会在 Kyverno 的 webhook 中注册其资源类型(请参阅前提条件)。要将其完全移除,请删除 ClusterPolicy,例如 kubectl delete clusterpolicy tekton-no-inline-execution-specs。更改或删除 ClusterPolicy 需要对这一集群范围对象拥有权限,通常需要集群管理员权限。

前提条件。前提条件中的项目均已满足,并且已知合法创建运行的身份。

相关文档