配置推理服务自动扩缩容

简介

本文档提供了一个分步骤指南,用于配置推理服务的自动扩容和自动缩容。通过这些设置,您可以优化资源使用,在高负载期间确保服务可用,并在低负载期间释放资源。

关于自动扩缩器

Knative Serving 支持两种自动扩缩器:Knative Pod Autoscaler (KPA) 和 Kubernetes 的 Horizontal Pod Autoscaler (HPA)。默认情况下,我们的服务使用 Knative Pod Autoscaler (KPA)。

KPA 适用于无服务器工作负载,可以根据并发请求或 RPS(每秒请求数)快速扩容,并且可以将服务缩容到 0 个副本以节省成本。HPA 更通用,通常基于 CPU 或内存使用率等指标进行扩缩容。本指南主要介绍如何通过 Knative Pod Autoscaler (KPA) 配置服务。

步骤

自动缩容配置

本节介绍如何配置推理服务在没有流量时自动缩容到 0 个副本,或者保持最小副本数。

启用/禁用缩容至零

您可以配置在没有流量时是否允许推理服务缩容到 0 个副本。默认值为 true,表示允许缩容至零。

使用 InferenceService 资源参数

在 InferenceService 的 spec.predictor 字段中,设置 minReplicas 参数。

  • minReplicas: 0:允许缩容到 0 个副本。

  • minReplicas: 1:禁用缩容至零,至少保留 1 个副本。

    apiVersion: serving.kserve.io/v1beta1
    kind: InferenceService
    metadata:
      name: demo
      namespace: demo-space
    spec:
      predictor:
        minReplicas: 0
        ...

在平台范围内禁用缩容至零

WARNING

一旦在平台范围内禁用了该功能,所有服务的 minReplicas: 0 配置都将被忽略。

您可以修改全局 ConfigMap 来禁用平台的缩容至零功能。此配置具有最高优先级,并会覆盖所有单独 InferenceService 资源中的设置。

在 knative-serving 命名空间中的 config-autoscaler ConfigMap 里,将 enable-scale-to-zero 的值修改为 "false"

apiVersion: v1
kind: ConfigMap
metadata:
  annotations:
    "helm.sh/resource-policy": keep
  name: config-autoscaler
  namespace: knative-serving
data:
  enable-scale-to-zero: "false"
  1. 请确保该注解存在,否则配置将恢复为默认值。

配置缩容至零后的 Pod 保留时长

此设置用于确定自动扩缩器决定缩容至零后,最后一个 Pod 继续保持活动状态的最短时间。这有助于服务在再次接收流量时快速响应。默认值为 0s

您可以选择仅为单个服务进行配置,或者修改全局 ConfigMap,使该设置对所有服务生效。

方法 1:使用 InferenceService 注解

在 InferenceService 的 spec.predictor.annotations 中,添加 autoscaling.knative.dev/scale-to-zero-pod-retention-period 注解。

apiVersion: serving.kserve.io/v1beta1
kind: InferenceService
metadata:
  name: qwen2
  namespace: fy-1
spec:
  predictor:
    annotations:
      autoscaling.knative.dev/scale-to-zero-pod-retention-period: "1m5s"
    ...

方法 2:使用全局 ConfigMap

在 knative-serving 命名空间中的 config-autoscaler ConfigMap 里,将 scale-to-zero-pod-retention-period 的值修改为非负时长字符串,例如 "1m5s"。

apiVersion: v1
kind: ConfigMap
metadata:
  annotations:
    "helm.sh/resource-policy": keep
  name: config-autoscaler
  namespace: knative-serving
data:
  scale-to-zero-pod-retention-period: "1m5s"
  1. 请确保该注解存在,否则配置将恢复为默认值。

配置缩容至零的宽限期

此设置会在流量停止后、移除最后一个副本之前增加一个延迟,以确保 activator/routing 路径已就绪,并防止在过渡到零的过程中发生请求丢失。

TIP

只有在因服务缩容至零而遇到请求丢失时,才应调整该值。它不会影响在没有流量后的最后一个副本保留时间,也不能保证在此期间副本一定会被保留。

方法:使用全局 ConfigMap

在 knative-serving 命名空间中的 config-autoscaler ConfigMap 里,将 scale-to-zero-grace-period 的值修改为一个时长字符串,例如 "40s"。

apiVersion: v1
kind: ConfigMap
metadata:
  annotations:
    "helm.sh/resource-policy": keep
  name: config-autoscaler
  namespace: knative-serving
data:
  scale-to-zero-grace-period: "40s"
  1. 请确保该注解存在,否则配置将恢复为默认值。

自动扩容配置

本节介绍如何配置推理服务,以便在流量增加时自动扩容。

配置并发阈值

并发用于决定每个原生应用副本可以同时处理多少个请求。您可以通过软限制或硬限制来设置并发。

  • 软限制:目标限制,在流量激增期间可以临时超出,但系统会触发自动扩缩容以维持目标值。默认值为 100。
  • 硬限制:严格的上限。当并发达到该值时,超出的请求将被缓冲并排队等待处理。默认值为 0,表示不限制。
WARNING

如果同时指定了软限制和硬限制,将采用两者中的较小值。这样可以避免自动扩缩器的目标值高于硬限制所允许的值。

您可以选择仅为单个服务进行配置,或者修改全局 ConfigMap,使该设置对所有服务生效。

方法 1:使用 InferenceService 资源参数

  • 软限制:在 spec.predictor 中,设置 scaleTarget,并将 scaleMetric 设置为 concurrency。

  • 硬限制:在 spec.predictor 中,设置 containerConcurrency

    # Set soft and hard limits
    apiVersion: serving.kserve.io/v1beta1
    kind: InferenceService
    metadata:
      name: demo
      namespace: demo-space
    spec:
      predictor:
        scaleTarget: 200
        scaleMetric: concurrency
        containerConcurrency: 50
        ...

方法 2:使用全局 ConfigMap

  • 软限制:在 config-autoscaler ConfigMap 中,设置 container-concurrency-target-default。
  • 硬限制:没有全局硬限制设置,因为它会影响请求缓冲和排队。

目标利用率百分比

此值指定了在 metric=concurrency 时自动扩缩器所追求的目标百分比,从而可以在达到硬限制之前主动扩容。默认值:70。 使用 RPS 时不适用。

方法 1:使用 InferenceService 注解

在 InferenceService 的 spec.predictor.annotations 中,添加 autoscaling.knative.dev/target-utilization-percentage 注解。

# Set target utilization by service
apiVersion: serving.kserve.io/v1beta1
kind: InferenceService
metadata:
  name: qwen2
  namespace: fy-1
spec:
  predictor:
    annotations:
      autoscaling.knative.dev/target-utilization-percentage: "80"

方法 2:使用全局 ConfigMap

在 config-autoscaler ConfigMap 中,设置 container-concurrency-target-percentage。

apiVersion: v1
kind: ConfigMap
metadata:
  annotations:
    "helm.sh/resource-policy": keep
  name: config-autoscaler
  namespace: knative-serving
data:
  container-concurrency-target-percentage: "80"
  1. 请确保该注解存在,否则配置将恢复为默认值。

配置每秒请求数(RPS)目标

您可以将扩缩容指标从并发改为每秒请求数(RPS)。默认值为 200。 注意:在 RPS 模式下,不会使用并发目标百分比设置。

方法 1:使用 InferenceService 资源参数

在 spec.predictor 中,设置 scaleTarget,并将 scaleMetric 设置为 rps。

# Set RPS target by service
apiVersion: serving.kserve.io/v1beta1
kind: InferenceService
metadata:
  name: qwen2
  namespace: fy-1
spec:
  predictor:
    scaleTarget: 150
    scaleMetric: rps
    ...

方法 2:使用全局 ConfigMap

在 config-autoscaler ConfigMap 中,设置 requests-per-second-target-default。

apiVersion: v1
kind: ConfigMap
metadata:
  annotations:
    "helm.sh/resource-policy": keep
  name: config-autoscaler
  namespace: knative-serving
data:
  requests-per-second-target-default: "200"
  1. 请确保该注解存在,否则配置将恢复为默认值。