使用 KEDA 为推理服务配置自动扩缩容

简介

在生产环境中部署机器学习模型面临着独特的挑战,其中最关键的挑战之一是确保推理服务能够高效、可靠地处理不同级别的流量。AI 工作负载具有不可预测性——流量可能会急剧增加,资源需求也会根据输入序列长度、令牌生成长度或并发请求数量等因素而变化——这通常意味着传统的自动扩缩容方法难以满足需求。

仅依赖 CPU 或内存指标可能导致资源过度配置和浪费,也可能导致资源配置不足并造成糟糕的用户体验。同样,GPU 利用率可能表示资源得到了高效使用,也可能表示资源已达到饱和状态。因此,LLM 自动扩缩容的行业最佳实践已转向更加特定于工作负载的指标。

本指南介绍如何利用 KEDA(Kubernetes Event-driven Autoscaling)以及由 vLLM 导出的自定义应用特定指标来配置 KServe 自动扩缩容。这种组合使推理服务能够根据实际工作负载信号进行扩缩容,而不是依赖通用的基础设施指标。

INFO

KEDA 扩展了标准的 Kubernetes Horizontal Pod Autoscaler (HPA),允许应用根据各种事件源(包括 Prometheus 指标)在零个实例与 N 个实例之间进行扩缩容。它引入了一个开放且可扩展的框架,使 KServe 几乎可以根据任何与 AI 模型性能相关的信号进行扩缩容。

前提条件

  • 已安装 Alauda AI Platform Operator plugin。
  • 已安装 KEDA Operator plugin。
  • 一个使用 Standard 模式并配备 vLLM serving runtime 的 InferenceService。
  • 集群中已安装并可访问 Prometheus。

授予 KServe 对 KEDA 资源的访问权限

在继续操作之前,应用以下 RBAC 资源,以允许 kserve-controller-manager 管理 KEDA 对象(ScaledObject、TriggerAuthentication 等):

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: kserve-keda-manager-role
rules:
- apiGroups:
  - keda.sh
  resources:
  - "*"
  verbs:
  - "*"
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: kserve-keda-manager-binding
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: kserve-keda-manager-role
subjects:
- kind: ServiceAccount
  name: kserve-controller-manager
  namespace: kserve
[安装顺序]

如果 Alauda AI Platform 之后安装了 KEDA,请在应用上述 RBAC 后重启 kserve-controller-manager pod(位于 kserve namespace 中),以便其发现 KEDA CRD:

kubectl rollout restart deployment kserve-controller-manager -n kserve

步骤

停止正在运行的 InferenceService

进行更改之前,请停止正在运行的 InferenceService,以避免现有 HPA 与新的 KEDA 管理的 scaler 之间发生冲突。添加以下注解以停止它:

kubectl annotate inferenceservice <your-isvc-name> -n <your-namespace> \
  serving.kserve.io/stop='true'
WARNING

如果正在运行的 InferenceService 已有 HPA 资源,在未先停止它的情况下切换到 KEDA 将导致资源冲突。

创建 Prometheus TriggerAuthentication

KEDA 要求在与 InferenceService 相同的 namespace 中创建 TriggerAuthentication 资源,以便向 Prometheus 进行身份验证。

Prometheus 凭据存储在 cpaas-system namespace 中的平台 Secret kube-prometheus-alertmanager-basic-auth 内。运行以下命令,将其复制到你的 namespace:

kubectl create secret generic prom-basic-auth-secret \
  --namespace=<your-namespace> \
  --from-literal=username=$(kubectl get secret kube-prometheus-alertmanager-basic-auth \
    -n cpaas-system -o jsonpath='{.data.username}' | base64 -d) \
  --from-literal=password=$(kubectl get secret kube-prometheus-alertmanager-basic-auth \
    -n cpaas-system -o jsonpath='{.data.password}' | base64 -d)

然后创建引用该 Secret 的 TriggerAuthentication:

apiVersion: keda.sh/v1alpha1
kind: TriggerAuthentication
metadata:
  name: prom-basic-auth
  namespace: <your-namespace>
spec:
  secretTargetRef:
    - parameter: username
      name: prom-basic-auth-secret
      key: username
    - parameter: password
      name: prom-basic-auth-secret
      key: password
TIP

所有资源中的以下名称必须保持一致:

  • prom-basic-auth-secret — Secret 名称,必须与 TriggerAuthentication 中的 secretTargetRef.name 相匹配。
  • prom-basic-auth — TriggerAuthentication 名称,必须与 InferenceService spec 中的 authenticationRef.authenticationRef.name 相匹配。

配置 InferenceService 以使用 KEDA

服务停止后,使用 KEDA 自动扩缩配置更新 InferenceService manifest:

apiVersion: serving.kserve.io/v1beta1
kind: InferenceService
metadata:
  name: <your-isvc-name>
  namespace: <your-namespace>
  annotations:
    serving.kserve.io/deploymentMode: Standard
    serving.kserve.io/autoscalerClass: keda
spec:
  predictor:
    maxReplicas: 2
    autoScaling:
      metrics:
        - type: External
          external:
            authenticationRef:
              authModes: basic
              authenticationRef:
                name: prom-basic-auth
            metric:
              backend: prometheus
              query: >
                sum(vllm:num_requests_running{isvc_name="<your-isvc-name>",namespace="<your-namespace>"})
              serverAddress: http://prometheus-operated.cpaas-system.svc.cluster.local:9090
            target:
              type: Value
              value: '1'
    # ... rest of your predictor configuration
  1. 禁用 KServe 内置的 HPA,并将扩缩管理交给 KEDA。
  2. 设置从节点数上限。若要让服务根据流量增加自动扩容,请确保此值大于 1(例如 2)。
  3. 引用用于保存 Prometheus 身份验证凭据的 TriggerAuthentication 资源。将 prom-basic-auth 替换为实际 TriggerAuthentication 的名称。
  4. 一个 PromQL 查询,用于返回表示当前负载的单个数值。将 <your-model-name> 和 <your-namespace> 替换为实际值。
  5. Prometheus 实例的内部地址,例如 http://prometheus-operated.cpaas-system.svc.cluster.local:9090。
  6. 每个从节点的目标值。KEDA 会计算 ceil(metricValue / value),以确定所需的从节点数。

用于自动扩缩的 vLLM 指标

平台会自动收集 vLLM 指标。选择合适的指标可以说是配置过程中最关键的一环——Prometheus 查询必须返回一个能够准确反映模型当前负载的单个数值。

以下 vLLM 指标常用于自动扩缩:

指标描述
vllm:num_requests_running模型当前正在处理的请求数
vllm:num_requests_waiting已排队等待处理的请求数
vllm:gpu_cache_usage_perc当前正在使用的 GPU KV cache 百分比
vllm:e2e_request_latency_seconds_bucket端到端请求延迟直方图
vllm:time_per_output_token_seconds_buckettoken 间延迟(每个输出 token 的耗时,TPOT)

使用 sum() 聚合函数,确保查询返回部署中所有 pod 的单个值。例如,若要根据等待中的请求数进行扩缩:

sum(vllm:num_requests_waiting{isvc_name="<your-isvc-name>", namespace="<your-namespace>"})

此查询会汇总所有 predictor pod 中的待处理请求数,为 KEDA 提供单个聚合信号,以供其进行扩缩。

验证配置

应用更新后的 InferenceService 后,KServe 会自动为你创建 KEDA ScaledObject。验证所有配置是否正常工作:

# Check the ScaledObject created by KServe
kubectl get scaledobject -n <your-namespace>

# Check the KEDA-managed HPA
kubectl get hpa -n <your-namespace>

# Watch replica counts in real time
kubectl get hpa -n <your-namespace> -w

HPA 输出将显示当前指标值、扩缩阈值以及当前/期望的从节点数。随着推理流量增加,TARGETS 值会上升,从节点数也会自动扩容。