配置推理服务自动扩缩容

简介

本文分步介绍如何为以 Knative 部署模式运行的推理服务配置自动扩容和缩容。通过这些设置,您可以优化资源使用,在高负载期间确保服务可用性,并在低负载期间释放资源。

WARNING

此页面上的所有设置仅适用于以 Knative 部署模式运行的推理服务。Alauda AI Platform 默认以 Standard 模式部署推理服务, 该模式不使用 Knative — 在此模式下,config-autoscaler ConfigMap 和以下 autoscaling.knative.dev/* 注解均不起作用,并且 minReplicas: 0 不会 将服务缩容到零。

要在 Standard 模式下为服务配置自动扩缩容,请参阅 使用 KEDA 为推理服务设置自动扩缩容。

关于 Autoscaler

Knative Serving 支持两种 Autoscaler:Knative Pod Autoscaler (KPA) 和 Kubernetes 的 Horizontal Pod Autoscaler (HPA)。以 Knative 模式部署的服务默认使用 Knative Pod Autoscaler (KPA)。

KPA 专为 serverless 工作负载设计,可以根据并发请求数或 RPS(每秒请求数)快速扩容,也可以将服务缩容到零个副本以节省成本。HPA 更为通用,通常根据 CPU 或内存使用率等指标进行扩缩容。本指南主要介绍如何通过 Knative Pod Autoscaler (KPA) 配置服务。

前提条件

  1. 已安装 Knative Operator,并且存在一个 KnativeServing 实例。请参阅安装 Alauda AI Platform。

  2. 目标 InferenceService 已以 Knative 模式部署。请确认服务上的注解:

    kubectl get inferenceservice <name> -n <your-namespace> \
      -o jsonpath='{.metadata.annotations.serving\.kserve\.io/deploymentMode}{"\n"}'

    该命令必须输出 Knative。如果输出 Standard 或没有输出,请改用 KEDA 指南。

  3. 您具有编辑 knative-serving 命名空间中 config-autoscaler ConfigMap 的权限,以配置平台范围的设置。

步骤

自动缩容配置

本节介绍如何配置推理服务:在没有流量时自动缩容到零个副本,或保持最小副本数。

启用/禁用缩容到零

您可以配置是否允许推理服务在没有流量时缩容到零个副本。默认值为 true,允许缩容到零。

使用 InferenceService 资源参数

在 spec.predictor 的 InferenceService 字段中,设置 minReplicas 参数。

  • minReplicas: 0:允许缩容到零个副本。

  • minReplicas: 1:禁用缩容到零,至少保留一个副本。

    apiVersion: serving.kserve.io/v1beta1
    kind: InferenceService
    metadata:
      name: demo
      namespace: demo-space
    spec:
      predictor:
        minReplicas: 0
        ...

平台范围内禁用缩容到零

WARNING

禁用平台范围的功能后,所有服务的 minReplicas: 0 配置都将被忽略。

您可以修改全局 ConfigMap,以禁用平台的缩容到零功能。此配置具有最高优先级,并会覆盖所有单独 InferenceService 资源中的设置。

在 knative-serving 命名空间中的 config-autoscaler ConfigMap 中,将 enable-scale-to-zero 的值修改为 "false"

apiVersion: v1
kind: ConfigMap
metadata:
  annotations:
    "helm.sh/resource-policy": keep
  name: config-autoscaler
  namespace: knative-serving
data:
  enable-scale-to-zero: "false"
  1. 请确保此注解存在,否则您的配置将恢复为默认值。

配置缩容到零后的 Pod 保留时间

此设置决定 Autoscaler 计划缩容到零后,最后一个 Pod 保持活动状态的最短时间。这有助于服务在再次收到流量时快速响应。默认值为 0s

您可以为单个服务配置此设置,也可以修改全局 ConfigMap,使此设置对所有服务生效。

方法 1:使用 InferenceService 注解

在 InferenceService 的 spec.predictor.annotations 中,添加 autoscaling.knative.dev/scale-to-zero-pod-retention-period 注解。

apiVersion: serving.kserve.io/v1beta1
kind: InferenceService
metadata:
  name: qwen2
  namespace: fy-1
spec:
  predictor:
    annotations:
      autoscaling.knative.dev/scale-to-zero-pod-retention-period: "1m5s"
    ...

方法 2:使用全局 ConfigMap

在 knative-serving 命名空间中的 config-autoscaler ConfigMap 中,将 scale-to-zero-pod-retention-period 的值修改为非负时长字符串,例如 "1m5s"。

apiVersion: v1
kind: ConfigMap
metadata:
  annotations:
    "helm.sh/resource-policy": keep
  name: config-autoscaler
  namespace: knative-serving
data:
  scale-to-zero-pod-retention-period: "1m5s"
  1. 请确保此注解存在,否则您的配置将恢复为默认值。

配置缩容到零的宽限期

此设置会在流量停止后、移除最后一个副本之前增加延迟,以确保 activator/路由路径已就绪,并防止在过渡到零的过程中丢失请求。

TIP

仅当您遇到服务缩容到零导致请求丢失时,才应调整此值。它不会影响没有流量后最后一个副本的保留时间,也不保证副本会在此期间保持。

方法:使用全局 ConfigMap

在 knative-serving 命名空间中的 config-autoscaler ConfigMap 中,将 scale-to-zero-grace-period 的值修改为时长字符串,例如 "40s"。

apiVersion: v1
kind: ConfigMap
metadata:
  annotations:
    "helm.sh/resource-policy": keep
  name: config-autoscaler
  namespace: knative-serving
data:
  scale-to-zero-grace-period: "40s"
  1. 请确保此注解存在,否则您的配置将恢复为默认值。

自动扩容配置

本节介绍如何配置推理服务,以便在流量增加时自动扩容。

配置并发阈值

并发数决定每个原生应用副本可以同时处理的请求数。您可以设置软限制或硬限制。

  • 软限制:流量激增时可以暂时超过的目标限制,但会触发自动扩容以维持目标值。默认值为 100。
  • 硬限制:严格的上限。当并发数达到此值时,超出的请求将被缓冲并排队处理。默认值为 0,表示不受限制。
WARNING

如果同时指定软限制和硬限制,将使用两者中较小的值。这样可以防止 Autoscaler 的目标值超过硬限制所允许的范围。

您可以为单个服务配置此设置,也可以修改全局 ConfigMap,使此设置对所有服务生效。

方法 1:使用 InferenceService 资源参数

  • 软限制:在 spec.predictor 中设置 scaleTarget,并将 scaleMetric 设置为 concurrency。

  • 硬限制:在 spec.predictor 中设置 containerConcurrency

    # Set soft and hard limits
    apiVersion: serving.kserve.io/v1beta1
    kind: InferenceService
    metadata:
      name: demo
      namespace: demo-space
    spec:
      predictor:
        scaleTarget: 200
        scaleMetric: concurrency
        containerConcurrency: 50
        ...

方法 2:使用全局 ConfigMap

  • 软限制:在 config-autoscaler ConfigMap 中设置 container-concurrency-target-default。
  • 硬限制:没有针对硬限制的全局设置,因为它会影响请求缓冲和排队。

目标利用率百分比

此值指定 Autoscaler 在 metric=concurrency 时所针对的目标百分比,从而可以在达到硬限制之前主动扩容。默认值:70。使用 RPS 时,此设置不适用。

方法 1:使用 InferenceService 注解

在 InferenceService 的 spec.predictor.annotations 中,添加 autoscaling.knative.dev/target-utilization-percentage 注解。

# Set target utilization by service
apiVersion: serving.kserve.io/v1beta1
kind: InferenceService
metadata:
  name: qwen2
  namespace: fy-1
spec:
  predictor:
    annotations:
      autoscaling.knative.dev/target-utilization-percentage: "80"

方法 2:使用全局 ConfigMap

在 config-autoscaler ConfigMap 中设置 container-concurrency-target-percentage。

apiVersion: v1
kind: ConfigMap
metadata:
  annotations:
    "helm.sh/resource-policy": keep
  name: config-autoscaler
  namespace: knative-serving
data:
  container-concurrency-target-percentage: "80"
  1. 请确保此注解存在,否则您的配置将恢复为默认值。

配置每秒请求数(RPS)目标

您可以将扩缩容指标从并发数更改为每秒请求数(RPS)。默认值为 200。 注意:在 RPS 模式下,不会使用并发目标百分比设置。

方法 1:使用 InferenceService 资源参数

在 spec.predictor 中设置 scaleTarget,并将 scaleMetric 设置为 rps。

# Set RPS target by service
apiVersion: serving.kserve.io/v1beta1
kind: InferenceService
metadata:
  name: qwen2
  namespace: fy-1
spec:
  predictor:
    scaleTarget: 150
    scaleMetric: rps
    ...

方法 2:使用全局 ConfigMap

在 config-autoscaler ConfigMap 中设置 requests-per-second-target-default。

apiVersion: v1
kind: ConfigMap
metadata:
  annotations:
    "helm.sh/resource-policy": keep
  name: config-autoscaler
  namespace: knative-serving
data:
  requests-per-second-target-default: "200"
  1. 请确保此注解存在,否则您的配置将恢复为默认值。