配置推理服务自动扩缩容
简介
本文分步介绍如何为以 Knative 部署模式运行的推理服务配置自动扩容和缩容。通过这些设置,您可以优化资源使用,在高负载期间确保服务可用性,并在低负载期间释放资源。
此页面上的所有设置仅适用于以 Knative 部署模式运行的推理服务。Alauda AI Platform 默认以 Standard 模式部署推理服务,
该模式不使用 Knative — 在此模式下,config-autoscaler ConfigMap 和以下
autoscaling.knative.dev/* 注解均不起作用,并且 minReplicas: 0 不会
将服务缩容到零。
要在 Standard 模式下为服务配置自动扩缩容,请参阅
使用 KEDA 为推理服务设置自动扩缩容。
关于 Autoscaler
Knative Serving 支持两种 Autoscaler:Knative Pod Autoscaler (KPA) 和 Kubernetes 的 Horizontal Pod Autoscaler (HPA)。以 Knative 模式部署的服务默认使用 Knative Pod Autoscaler (KPA)。
KPA 专为 serverless 工作负载设计,可以根据并发请求数或 RPS(每秒请求数)快速扩容,也可以将服务缩容到零个副本以节省成本。HPA 更为通用,通常根据 CPU 或内存使用率等指标进行扩缩容。本指南主要介绍如何通过 Knative Pod Autoscaler (KPA) 配置服务。
前提条件
-
已安装 Knative Operator,并且存在一个
KnativeServing实例。请参阅安装 Alauda AI Platform。 -
目标
InferenceService已以 Knative 模式部署。请确认服务上的注解:该命令必须输出
Knative。如果输出Standard或没有输出,请改用 KEDA 指南。 -
您具有编辑
knative-serving命名空间中config-autoscalerConfigMap 的权限,以配置平台范围的设置。
步骤
自动缩容配置
本节介绍如何配置推理服务:在没有流量时自动缩容到零个副本,或保持最小副本数。
启用/禁用缩容到零
您可以配置是否允许推理服务在没有流量时缩容到零个副本。默认值为 true,允许缩容到零。
使用 InferenceService 资源参数
在 spec.predictor 的 InferenceService 字段中,设置 minReplicas 参数。
-
minReplicas: 0:允许缩容到零个副本。 -
minReplicas: 1:禁用缩容到零,至少保留一个副本。
平台范围内禁用缩容到零
禁用平台范围的功能后,所有服务的 minReplicas: 0 配置都将被忽略。
您可以修改全局 ConfigMap,以禁用平台的缩容到零功能。此配置具有最高优先级,并会覆盖所有单独 InferenceService 资源中的设置。
在 knative-serving 命名空间中的 config-autoscaler ConfigMap 中,将 enable-scale-to-zero 的值修改为 "false"
- 请确保此注解存在,否则您的配置将恢复为默认值。
配置缩容到零后的 Pod 保留时间
此设置决定 Autoscaler 计划缩容到零后,最后一个 Pod 保持活动状态的最短时间。这有助于服务在再次收到流量时快速响应。默认值为 0s
您可以为单个服务配置此设置,也可以修改全局 ConfigMap,使此设置对所有服务生效。
方法 1:使用 InferenceService 注解
在 InferenceService 的 spec.predictor.annotations 中,添加 autoscaling.knative.dev/scale-to-zero-pod-retention-period 注解。
方法 2:使用全局 ConfigMap
在 knative-serving 命名空间中的 config-autoscaler ConfigMap 中,将 scale-to-zero-pod-retention-period 的值修改为非负时长字符串,例如 "1m5s"。
- 请确保此注解存在,否则您的配置将恢复为默认值。
配置缩容到零的宽限期
此设置会在流量停止后、移除最后一个副本之前增加延迟,以确保 activator/路由路径已就绪,并防止在过渡到零的过程中丢失请求。
仅当您遇到服务缩容到零导致请求丢失时,才应调整此值。它不会影响没有流量后最后一个副本的保留时间,也不保证副本会在此期间保持。
方法:使用全局 ConfigMap
在 knative-serving 命名空间中的 config-autoscaler ConfigMap 中,将 scale-to-zero-grace-period 的值修改为时长字符串,例如 "40s"。
- 请确保此注解存在,否则您的配置将恢复为默认值。
自动扩容配置
本节介绍如何配置推理服务,以便在流量增加时自动扩容。
配置并发阈值
并发数决定每个原生应用副本可以同时处理的请求数。您可以设置软限制或硬限制。
- 软限制:流量激增时可以暂时超过的目标限制,但会触发自动扩容以维持目标值。默认值为
100。 - 硬限制:严格的上限。当并发数达到此值时,超出的请求将被缓冲并排队处理。默认值为
0,表示不受限制。
如果同时指定软限制和硬限制,将使用两者中较小的值。这样可以防止 Autoscaler 的目标值超过硬限制所允许的范围。
您可以为单个服务配置此设置,也可以修改全局 ConfigMap,使此设置对所有服务生效。
方法 1:使用 InferenceService 资源参数
-
软限制:在
spec.predictor中设置scaleTarget,并将scaleMetric设置为concurrency。 -
硬限制:在
spec.predictor中设置containerConcurrency
方法 2:使用全局 ConfigMap
- 软限制:在
config-autoscalerConfigMap 中设置container-concurrency-target-default。 - 硬限制:没有针对硬限制的全局设置,因为它会影响请求缓冲和排队。
目标利用率百分比
此值指定 Autoscaler 在 metric=concurrency 时所针对的目标百分比,从而可以在达到硬限制之前主动扩容。默认值:70。使用 RPS 时,此设置不适用。
方法 1:使用 InferenceService 注解
在 InferenceService 的 spec.predictor.annotations 中,添加 autoscaling.knative.dev/target-utilization-percentage 注解。
方法 2:使用全局 ConfigMap
在 config-autoscaler ConfigMap 中设置 container-concurrency-target-percentage。
- 请确保此注解存在,否则您的配置将恢复为默认值。
配置每秒请求数(RPS)目标
您可以将扩缩容指标从并发数更改为每秒请求数(RPS)。默认值为 200。
注意:在 RPS 模式下,不会使用并发目标百分比设置。
方法 1:使用 InferenceService 资源参数
在 spec.predictor 中设置 scaleTarget,并将 scaleMetric 设置为 rps。
方法 2:使用全局 ConfigMap
在 config-autoscaler ConfigMap 中设置 requests-per-second-target-default。
- 请确保此注解存在,否则您的配置将恢复为默认值。