使用 Kyverno 约束 Tekton Pipeline 执行
使用 Kyverno 回答以下问题:“团队是否可以运行自己的 Task?”、“必须使用哪个模板?”以及“哪些工具镜像可以执行?”Task 定义步骤;Pipeline 连接 Task;TaskRuns 和 PipelineRuns 执行这些定义。Kyverno 会根据平台管理员编写的规则,检查它们向 Kubernetes API 发出的请求。
它可以检查提交到 Kubernetes API 的对象、为 TaskRun 创建的 Pod,以及写入已完成运行的选定字段。它不会替代 Tekton 的执行语义,也无法证明任意 shell 命令将执行什么操作。
本指南是一份能力映射,其中使用了通用示例。尖括号中的值是有意设置的占位符。在应用策略之前,请将其替换为平台团队管理的值。有关具体的 CI 场景,请参阅 Constrain Catalog Pipeline Usage with Kyverno。该配套页面使用由 ArtifactHub Shim 提供的 Pipeline,并展示如何将这些通用控制转换为针对用户配置、参数和扫描结果的实际限制。设计原理请参阅 Pipeline Policy Constraints with Tekton and Kyverno。
目录
可约束的内容前提条件读取并安装策略1. 关闭内联和直接运行绕过2. 要求使用经过审核的 resolver 引用3. 限制可以执行的镜像4. 审计已完成运行报告的内容安全地推出策略并设置例外自我验证故障排除推荐设置相关文档可约束的内容
Kyverno 会在 Tekton 执行过程的不同阶段看到不同的对象。请选择包含要管控事实的对象。
时机很重要。在接纳 PipelineRun 时可以获取 Resolver 引用,但获取的 Pipeline 及其标签尚不一定可用。用户还可以提交看起来像平台标签的标签。使用 Resolver 参数做出接纳决策,并使用标签或结果进行执行后审计。
生命周期为:运行接纳、远程解析、子 TaskRun 接纳、Pod 接纳,然后是状态更新。远程获取的 Task 或 Pipeline 不会作为 Kubernetes 对象存储,但 Tekton 会在运行所在的命名空间中,通过服务器端 dry-run 验证获取的 Pipeline,因此其中的 Pipeline 策略也可以看到获取的 YAML,拒绝操作会导致运行失败。子 TaskRun 的引用在其接纳阶段可见,但远程 Task 的正文可能仍未解析。Pod 接纳可以看到已解析的容器配置。
Kyverno 只是控制层中的一层;请将其与以下步骤结合使用:
- 使用 RBAC 决定谁可以创建或更新 Tekton 对象。
- 仅当每个命名空间都遵循相同规则时,才使用 operator 的 inline-spec 功能标志作为集群范围的基线。该标志会拒绝每个命名空间中的内联 spec,包括 PAC 从包含内联
pipelineSpec的.tekton/文件创建的运行,以及在默认 PAC 设置remote-tasks: "true"下,PAC 将已解析的 Pipeline 或 Task 嵌入其中的运行。在该默认设置下,只有通过pipelineRef.resolver引用其 Pipeline 的 PAC 运行,才不会因嵌入pipelineSpec而被拒绝;请参阅第 1 节中的警告。 - 让 catalog 和 Pipeline 源保持在审核之下。
- 确保在 air-gapped 集群中可以访问镜像仓库。
单个策略本身无法提供模板完整性。
前提条件
- Tekton Pipelines 及其 validating webhook 已安装,并配置为对无效的 Tekton 资源拒绝请求。
- Kyverno admission、background 和 reports controllers 均为 Ready 状态。示例已使用 Kyverno engine 1.15.9 和 Tekton
v1资源进行验证。本指南使用kyverno.io/v1ClusterPolicyAPI 和kyverno.io/v2PolicyExceptionAPI。 - 你可以创建策略;如果例外流程允许,还可以创建范围严格限定的
PolicyException对象。 - 已知受管控的命名空间、resolver catalog 和内部镜像仓库。
- 在 air-gapped 集群中,从批准的离线仓库安装 Kyverno、resolver 配置、策略 YAML 以及所有引用的镜像。
从 Audit 开始,并匹配一个临时命名空间。命名空间匹配限制的是策略的评估位置,而不是 Kyverno webhook 的调用位置:每个 ClusterPolicy 都会在 Kyverno 的共享 validating webhook(validate.kyverno.svc-fail)中注册其资源类型,范围覆盖整个集群,即使处于 Audit 模式也是如此。当 Kyverno admission controller 不可用时,API server 会在 Kyverno 全局设置未排除的每个命名空间中,拒绝针对这些类型的请求,包括其他团队的 Pod 和 Tekton 运行。只有在了解其匹配范围和合法例外后,才将策略移至 Enforce。下面使用 background: false,因为这些示例旨在评估 admission 或状态更新,而不是重写历史记录。这些示例是选择启用的策略,并非已安装的产品默认设置。
读取并安装策略
策略级别的 spec.validationFailureAction 已弃用,并将在未来的 Kyverno 版本中移除。请按下面所示使用 spec.rules[].validate.failureAction;参阅
Kyverno 验证规则。
迁移旧策略时,将其操作移至每个验证规则中,并移除策略级别字段。
将下面的每个完整策略分别放入自己的 YAML 文件中,替换其中的占位符,并首先在每个规则上设置 validate.failureAction: Audit。例如,将第一个策略保存为
tekton-no-inline-execution-specs.yaml,并在更改其全部四个规则后运行:
对其他策略使用相同的 apply/wait 操作步骤。单独存在的 Ready 策略并不能证明它会匹配某次运行:请执行下面的正向和负向检查。
1. 关闭内联和直接运行绕过
用例:要求工作流通过经过审查的 Pipeline 进入,并防止用户在运行或定义中嵌入 taskSpec 或 pipelineSpec。
强制执行点:对 TaskRun 创建请求以及 PipelineRun 或
Pipeline 创建/更新请求执行 admission。被拒绝的请求永远不会到达 Tekton controller。
PipelineRun 和 Pipeline 规则会在 match 中的
operations 下列出 CREATE 和 UPDATE。
如果没有此列表,当对象被删除时,Kyverno 也会针对正在删除的对象评估这些 deny 规则。通过规则的对象仍可被删除,但违反规则的对象将无法删除,例如在规则处于 Audit 状态时或策略存在之前已被准入的 PipelineRun。
Pruner 通过相同的 API 请求删除运行,因此它删除此类运行时也会以相同方式被拒绝。
独立的 TaskRun 规则仅在 match 中的 operations 下列出
CREATE,并且仅检查 CREATE。如果没有此列表,Kyverno 还会在其共享 webhook 中为整个集群注册针对 TaskRun 的 UPDATE 和 DELETE 操作。Tekton controller ServiceAccount 被排除在外,因为它会为已接受的 PipelineRun 创建子 TaskRun。如果集群使用自定义的 Tekton 安装,请更改 ServiceAccount 和命名空间。这是经过身份验证的请求身份,而不是 spec.serviceAccountName,也不是用户可以提供的所有者标签。RBAC 必须防止用户冒用此身份,或在该身份下运行自己的 Pod。不要将此规则扩展到 UPDATE:tekton-results-watcher 和 tekton-chains-controller 组件会在主资源上更新 TaskRun 元数据和 finalizer,因此拒绝这些更新可能会阻止结果存储、签名和 finalizer 移除。
EventListener 和 ScheduledTrigger controller 会创建其 TriggerTemplate 的资源,而它们的请求并非来自 Tekton controller ServiceAccount。因此,此规则也会拒绝此类模板中包含的 TaskRun。包含 PipelineRun 的模板不受影响,因为 Tekton controller 会创建其子 TaskRun。EventListener 仍会以 HTTP 202 响应事件,拒绝信息会记录在 EventListener Pod 的日志中;ScheduledTrigger 则会在 FailedCreate warning 事件中记录该信息。如果其他受信任组件必须创建 TaskRun,也请将其 ServiceAccount 添加到这一范围有限的排除项中。
Tekton 还提供由 operator 管理的基线设置 disable-inline-spec。在默认安装中,TektonConfig 拥有名为 pipeline 的 TektonPipeline 资源,并将自身的 spec.pipeline 复制到其中,因此请使用下面的 merge patch,在 TektonConfig 的 spec.pipeline.disable-inline-spec 中设置该值。
disable-inline-spec 是集群范围的设置。使用下面的值时,Tekton webhook 会在每个命名空间中拒绝:
- 所有嵌入
pipelineSpec的PipelineRun。这包括 PAC 根据带有内联pipelineSpec的.tekton/文件创建的运行,以及在默认 PAC 设置remote-tasks: "true"下,PAC 嵌入已解析 Pipeline 或 Task 的运行(对于不带resolver的pipelineRef或taskRef,PAC 会嵌入这些对象;请参阅 PAC Resolver)。使用该默认设置时,只有通过pipelineRef.resolver引用其 Pipeline 的 PAC 运行不受此检查影响; - 所有嵌入
taskSpec的TaskRun,包括 PipelineRun controller 为 Pipeline 任务创建的 TaskRun,其中该任务通过taskSpec内联定义其 Task; - 所有其任务以内联方式定义
taskSpec或pipelineSpec的Pipeline。
已经运行的 PipelineRun 也会受到影响。如下所示,在值中加入 pipeline 后,controller 会在下一次 reconcile 时再次检查运行的 Pipeline:如果某个任务以内联方式定义 taskSpec 或 pipelineSpec,运行将失败,原因是 PipelineValidationFailed,消息为
[User error] Pipeline <namespace>/<name> can't be Run; it has an invalid spec: ...。如果值中包含 taskrun 但不包含 pipeline,当运行到带有内联 taskSpec 的任务时,运行会因无法创建其 TaskRun 而以原因 CreateRunFailed 失败。
请先读取当前值
(kubectl get tektonconfig config -o jsonpath='{.spec.pipeline.disable-inline-spec}')。
要撤销更改,请移除该字段;空值会重新允许内联规范:
如果更改前该字段已有值,请重新设置为原值。对于不由 TektonConfig 拥有的
TektonPipeline,请以相同方式从其 spec 中移除 disable-inline-spec。
使用 merge patch 设置该值。此操作需要对集群范围的 TektonConfig 执行 patch 的权限,通常需要集群管理员权限:
对于不由 TektonConfig 拥有的 TektonPipeline,请改为在其 spec 中设置该字段。以下是现有 TektonPipeline 的配置片段,不是新的安装配置:
要确认该值已生效,请从 tekton-pipelines 中的 feature-flags ConfigMap 读取该值。Operator 会写入此 ConfigMap,Tekton webhook 会读取它。
tekton-pipelines 是 TektonConfig spec.targetNamespace 的默认值;如果安装使用其他命名空间,请在命令中替换它。读取该 ConfigMap 需要对 tekton-pipelines 中的 ConfigMap 具有读取权限,通常需要集群管理员权限:
输出必须是你设置的值,例如 taskrun,pipelinerun,pipeline。输出为空表示仍允许内联规范。
当每个命名空间都遵循相同规则时,功能标志非常有用。当发布范围、拒绝消息、PolicyReports 或例外情况很重要时,Kyverno 很有用。功能标志不会创建策略报告,且这两种选项都不能替代 RBAC。
该标志会禁止内联规范,但不会禁止使用 taskRef 的独立 TaskRun。Kyverno PolicyException 无法绕过 Tekton 功能标志。
2. 要求使用经过审核的 resolver 引用
使用场景:要求每个受管控的 PipelineRun 通过 hub resolver 标识远程 Pipeline。第一条规则仅检查引用格式;第二个策略将引用限制为经过审核的 name@version 对。
强制执行点:PipelineRun admission。此规则不会检查远程 Pipeline 的内容。本节的两条规则都在 operations 下列出 CREATE 和 UPDATE,原因与第 1 节所述相同。
添加第二个策略,仅允许经过审核的 name@version 对。特定 Catalog 的配对可以放在 Catalog 指南中,但该指南目前不包含此类列表。一个最小规则如下:
在 value 下列出每个经过审核的配对。name@version 未列出的引用会被拒绝,并显示策略消息;列出的配对则会被允许。
3. 限制可以执行的镜像
使用场景:防止已解析的 Task 使用批准的 registry 之外的镜像启动。这是每个已解析步骤的镜像都可见的第一个位置。
强制执行点:Task 启动前的 Pod admission。列表必须包含 Tekton helper 镜像,以及平台注入的任何 init 镜像和主要工具镜像。在两个表达式中都将 registry 主机替换为实际批准的主机。转义字面量点,并保留结尾的 /,这样相似的 registry 名称就无法匹配。
selector 会将无关的应用 Pod 排除在策略评估之外,但不会将其排除在 Kyverno 的 webhook 之外:Kyverno 会为整个集群注册 Pod 请求,因此当其 admission controller 不可用时,API server 会拒绝在 Kyverno 全局设置未排除的每个命名空间中创建 Pod(请参阅先决条件)。专用的 pipeline 命名空间通常更简单。在切换到 Enforce 之前,请检查 server-side dry run,因为 admission webhook 可能会在提交的 Pod 模板渲染后注入内部 helper 镜像。
此策略检查的是可执行镜像,而不是构建输出目标、构建步骤内部拉取的镜像、镜像签名或任意网络流量。对于这些问题,请使用参数策略、registry 权限和网络控制。使用 RBAC 限制直接创建 Pod;能够创建未标记 Pod 的用户可以绕过此 selector。
4. 审计已完成运行报告的内容
使用场景:在 resolver 完成后检测缺失或异常的模板标签,而不将用户控制的标签视为 admission 身份。
强制执行点:PipelineRun/status 更新。规则为 Audit;它不会阻止初始的 PipelineRun 请求。Kyverno 无法对 status 子资源使用后台扫描,因此此规则记录新的 status 变更,而不是历史运行。
Kyverno 会将经过审计的 PipelineRun 设置为其 PolicyReport 的所有者,因此无论由 kubectl delete 还是 Pruner 删除运行,报告都会随运行一同删除。请在运行存在期间保存报告(例如使用
kubectl get policyreport -n <governed-namespace> -o yaml),或者在审计所需的整个期间保留运行。
通过标签检查表示一致性信号,而不是来源证明:即使在完成后,手动提供的标签仍然可以伪造。切勿在结果规则上使用 Enforce 来尝试停止已经发生的工作;拒绝 controller 的 status 写入可能会导致运行卡住,却无法撤销其影响。
对于 status 规则,请显式检查 reports-controller 的权限:
如果策略安装报告缺少权限,管理员可以在受管控的命名空间中授予以下只读访问权限。这也涵盖配套的 Catalog TaskRun 审计。请先替换每个占位符;Role 和 RoleBinding 都必须保留 metadata.namespace: <governed-namespace>,以便绑定引用同一命名空间中的 Role。在应用 status 策略之前应用 Role 和 RoleBinding:
将 <template-label-key> 和 <approved-template-label-value> 替换为已批准的 Pipelines 在 metadata.labels 中设置的标签键和值。当 Tekton 解析某次运行的 Pipeline 时,会将 Pipeline 的标签复制到 PipelineRun;如果 PipelineRun 已设置某个标签键,则会保留运行自身的值,但 tekton.dev/pipeline 除外,Tekton 会将其设置为已解析 Pipeline 的名称。
对 task results 使用类似的 TaskRun/status 策略。结果名称和值格式因 Task 而异;不要臆造通用的结果约定。Catalog 指南展示了某个 Pipeline 版本的实际 sonarqube-scanner 和 trivy-scanner 约定。
安全地推出策略并设置例外
-
将每个规则的
validate.failureAction设置为Audit,在临时命名空间中安装策略,并检查PolicyReport。 -
创建一个有效对象和一个故意违规的对象。缺少报告可能意味着规则未匹配,因此请检查命名空间、GVK 和前置条件。
-
对于每个准入策略,将每个规则的
validate.failureAction更改为Enforce,从范围最小的命名空间开始。将 status 审计规则保留在Audit中。 -
保留一个仅指定一个策略、一个规则、一个命名空间和一个资源的例外。
-
为例外指定负责人和过期时间。现有对象不会被追溯拒绝,但更新对象以及新创建的子对象可能会被拒绝。
不要授予集群范围的通配符例外。必须将 Kyverno 配置为允许 PolicyException 资源。为 Kyverno admission controller(或等效的 chart values)同时配置 --enablePolicyException=true 和 --exceptionNamespace=<exception-namespace>。在 Kyverno 1.15 中,如果启用该功能时未配置允许的命名空间,或在其他命名空间中创建对象,会产生准入警告,但仍会存储 PolicyException;例外选择器不会使用该对象,因此不会产生任何效果。请先配置允许的命名空间并在那里创建对象,然后将任何准入警告视为例外设置失败。RBAC 还必须限制哪些用户可以创建例外。允许的例外命名空间可以不同于匹配运行的命名空间。除非平台单独将其自动化,否则过期处理属于审查/删除流程;上述资源没有自动 TTL。例外只会跳过其指定的规则,不会跳过匹配同一运行的其他策略。
默认情况下,Kyverno 允许保留预先存在的违规的更新。如果这些更新也必须被拒绝,请在评估其对运行中工作负载的影响后,在规则上设置 validate.allowExistingViolations: false。将 status 审计策略保留在 Audit 中。
自我验证
替换占位符后,在一个可弃用的命名空间中运行以下检查。将第 1 至第 3 节策略中每个规则的
validate.failureAction 设置为 Enforce,并将标签审计规则保留在
Audit 中。在安装第 2 节的 name@version
allowlist 策略或特定于 Catalog 的策略之前,先测试这组通用策略;否则,这些附加规则也
必须允许每个正向请求。服务器 dry run 会执行准入检查,但不会启动构建或拉取镜像。它们不会创建持久的 PolicyReport。
同一组策略的其他检查:
如需进行实际的 status 审计,请将一个有意不存在的模板提交到配置的本地 catalog。此操作不会执行 Task,也不需要外部镜像。该请求应被允许, 随后远程解析失败,并生成缺少标签的审计:
请为 reports controller 留出协调时间。在此次运行中查找针对
completed-run-has-template-label 的 fail 结果。Tekton 的解析失败
与审计彼此独立;Kyverno 没有拒绝该请求。对于通过的情况,运行一个会传播已配置标签的获准模板,
并改为检查 pass。error 中的结果,或没有匹配的结果,
都不能证明符合要求。
测试完成后,仅删除你创建的示例运行、策略、例外、Role 和 RoleBinding。仅当该命名空间可弃用时才删除它。不要删除共享策略。
故障排除
- 控制器创建子 TaskRun 时被拒绝。将实际的 Tekton controller ServiceAccount 添加到规则排除项中;不要豁免整个命名空间。来自
tekton-results-watcher或tekton-chains-controller的元数据更新有意不受此仅创建规则约束。 - EventListener 或 ScheduledTrigger 未创建其 TaskRun。独立的
TaskRun规则会拒绝 TriggerTemplate 所持有的TaskRun。EventListener 仍会以 HTTP202响应,并在其 Pod 中记录拒绝日志;ScheduledTrigger 会显示FailedCreate警告事件。修改模板,使其创建PipelineRun。 - 类似 resolver 的运行被拒绝。Resolver 参数必须是独立条目,并使用确切的名称
catalog、type、kind、name和version。运行时 Pipeline 参数应置于spec.params下。 - PipelineRun 通过后 Pod 被拒绝。Pod 准入检查最终解析出的镜像列表。添加每个获准的辅助 registry,或创建范围狭窄的例外。
- Audit 规则没有报告。检查 status 子资源匹配、终止条件前置条件、reports-controller 权限以及资源所在的命名空间。
- 现有违规仍然存在。准入不会重写历史记录。使用 reports,或通过获准路径更新对象。
推荐设置
启用时机。启用独立的 TaskRun 规则,拒绝来自 Tekton Pipelines controller 之外任何身份的 TaskRun 创建请求,从而使用户无法直接创建 TaskRun。该规则检查请求发送者,而不是检查 PipelineRun 是否拥有 TaskRun。此规则本身不会限制运行所执行的内容:能够创建 PipelineRun 的用户仍可以嵌入 pipelineSpec,或通过 resolver 引用任意 Pipeline。若要限制运行可以使用哪些 Pipeline,还应启用第 1 节中的 inline-spec 规则,以及第 2 节中的 resolver 规则(引用形状规则和 name@version allowlist)。Resolver 规则检查的是引用,而不是远程 Pipeline 的内容:实际运行的步骤来自引用所指向版本所在 Hub 中的命名版本。Tekton 会在运行所在的命名空间中使用服务器端 dry-run 验证获取的 Pipeline,因此第 1 节中的 Pipeline 规则同样适用:包含 inline taskSpec 的获取 Pipeline 会使运行因 PipelineValidationFailed 失败。引用形状规则只要求非空的 catalog,不会拒绝请求级别的 url 参数;Hub resolver 会使用该参数替代其配置的 Hub。若要将步骤绑定到平台 catalog,还应将 catalog 固定为平台 catalog 名称,并拒绝请求级别的 url,如 Catalog 指南
Constrain Catalog Pipeline Usage with Kyverno 中的策略所示;然后审查允许的 catalog 版本内容,并限制可执行的镜像(第 3 节)。RBAC 授予创建运行的权限;Kyverno 仍可以拒绝 RBAC 允许的创建请求。
推荐值。拒绝并非来自 Tekton controller ServiceAccount 的 TaskRun 创建请求(第 1 节中的 deny-standalone-taskrun 规则)。该规则还会拒绝 EventListener 或 ScheduledTrigger 根据其 TriggerTemplate 创建的 TaskRun,因此应让此类模板创建 PipelineRun。如果其他受信任组件必须创建 TaskRun,请将其 ServiceAccount 添加到范围狭窄的排除项中;Pipeline Policy Constraints with Tekton and Kyverno 中展示了 request.userInfo 模式。以 failureAction: Audit 开始每条规则,审查 PolicyReport 结果,并按照安全地推出并创建例外中的说明切换到 Enforce。
第 1 节中的 inline-spec 规则是可选的。deny-pipelinerun-inline-pipelinespec 规则会拒绝每个携带 pipelineSpec 的 PipelineRun。这包括 PAC 根据包含 inline pipelineSpec 的 .tekton/ 文件创建的运行(请参阅使用 pipelineSpec 定义 Inline Pipeline),以及在默认 PAC 设置 remote-tasks: "true" 下,PAC 将已解析的 Pipeline 或 Task 嵌入其中的运行(请参阅PAC Resolver)。仅在运行通过 pipelineRef.resolver 引用其 Pipeline 的命名空间中启用 inline-spec 规则。
要确认策略正常工作,请运行自验证中的检查。要撤销策略,请将其文件中每条规则的 validate.failureAction 改回 Audit,然后重新应用该文件;规则随后会允许违规,并仅记录这些违规。位于 Audit 中的策略仍会在 Kyverno 的 webhook 中注册其资源类型(请参阅前提条件)。要将其完全移除,请删除 ClusterPolicy,例如 kubectl delete clusterpolicy tekton-no-inline-execution-specs。更改或删除 ClusterPolicy 需要对这一集群范围对象拥有权限,通常需要集群管理员权限。
前提条件。前提条件中的项目均已满足,并且已知合法创建运行的身份。
相关文档
- Constrain Catalog Pipeline Usage with Kyverno — 一个具体的 CI 示例,用于限制交付的 Java Pipeline 中的用户配置,包括特定于 Catalog 的参数和结果字段。
- Pipeline Policy Constraints with Tekton and Kyverno — 设计依据和控制边界。
- Tekton Hub resolver concepts — resolver 行为和引用语法。
- Comply with Pod Security Restricted Standard — Pod 安全上下文要求。
- Tekton Chains verification guides — 签名、SBOM 和漏洞验证,与此处的执行策略相互独立。