使用 KEDA 为推理服务配置自动扩缩容
简介
在生产环境中部署机器学习模型面临着独特的挑战,其中最关键的挑战之一是确保推理服务能够高效、可靠地处理不同级别的流量。AI 工作负载具有不可预测性——流量可能会急剧增加,资源需求也会根据输入序列长度、令牌生成长度或并发请求数量等因素而变化——这通常意味着传统的自动扩缩容方法难以满足需求。
仅依赖 CPU 或内存指标可能导致资源过度配置和浪费,也可能导致资源配置不足并造成糟糕的用户体验。同样,GPU 利用率可能表示资源得到了高效使用,也可能表示资源已达到饱和状态。因此,LLM 自动扩缩容的行业最佳实践已转向更加特定于工作负载的指标。
本指南介绍如何利用 KEDA(Kubernetes Event-driven Autoscaling)以及由 vLLM 导出的自定义应用特定指标来配置 KServe 自动扩缩容。这种组合使推理服务能够根据实际工作负载信号进行扩缩容,而不是依赖通用的基础设施指标。
KEDA 扩展了标准的 Kubernetes Horizontal Pod Autoscaler (HPA),允许应用根据各种事件源(包括 Prometheus 指标)在零个实例与 N 个实例之间进行扩缩容。它引入了一个开放且可扩展的框架,使 KServe 几乎可以根据任何与 AI 模型性能相关的信号进行扩缩容。
前提条件
- 已安装
Alauda AI PlatformOperator plugin。 - 已安装
KEDAOperator plugin。 - 一个使用
Standard模式并配备 vLLM serving runtime 的InferenceService。 - 集群中已安装并可访问
Prometheus。
授予 KServe 对 KEDA 资源的访问权限
在继续操作之前,应用以下 RBAC 资源,以允许 kserve-controller-manager 管理 KEDA 对象(ScaledObject、TriggerAuthentication 等):
如果 Alauda AI Platform 之后安装了 KEDA,请在应用上述 RBAC 后重启 kserve-controller-manager pod(位于 kserve namespace 中),以便其发现 KEDA CRD:
步骤
停止正在运行的 InferenceService
进行更改之前,请停止正在运行的 InferenceService,以避免现有 HPA 与新的 KEDA 管理的 scaler 之间发生冲突。添加以下注解以停止它:
如果正在运行的 InferenceService 已有 HPA 资源,在未先停止它的情况下切换到 KEDA 将导致资源冲突。
创建 Prometheus TriggerAuthentication
KEDA 要求在与 InferenceService 相同的 namespace 中创建 TriggerAuthentication 资源,以便向 Prometheus 进行身份验证。
Prometheus 凭据存储在 cpaas-system namespace 中的平台 Secret kube-prometheus-alertmanager-basic-auth 内。运行以下命令,将其复制到你的 namespace:
然后创建引用该 Secret 的 TriggerAuthentication:
所有资源中的以下名称必须保持一致:
prom-basic-auth-secret—Secret名称,必须与TriggerAuthentication中的secretTargetRef.name相匹配。prom-basic-auth—TriggerAuthentication名称,必须与InferenceServicespec 中的authenticationRef.authenticationRef.name相匹配。
配置 InferenceService 以使用 KEDA
服务停止后,使用 KEDA 自动扩缩配置更新 InferenceService manifest:
- 禁用 KServe 内置的 HPA,并将扩缩管理交给 KEDA。
- 设置从节点数上限。若要让服务根据流量增加自动扩容,请确保此值大于 1(例如 2)。
- 引用用于保存 Prometheus 身份验证凭据的
TriggerAuthentication资源。将prom-basic-auth替换为实际TriggerAuthentication的名称。 - 一个 PromQL 查询,用于返回表示当前负载的单个数值。将
<your-model-name>和<your-namespace>替换为实际值。 - Prometheus 实例的内部地址,例如
http://prometheus-operated.cpaas-system.svc.cluster.local:9090。 - 每个从节点的目标值。KEDA 会计算
ceil(metricValue / value),以确定所需的从节点数。
用于自动扩缩的 vLLM 指标
平台会自动收集 vLLM 指标。选择合适的指标可以说是配置过程中最关键的一环——Prometheus 查询必须返回一个能够准确反映模型当前负载的单个数值。
以下 vLLM 指标常用于自动扩缩:
使用 sum() 聚合函数,确保查询返回部署中所有 pod 的单个值。例如,若要根据等待中的请求数进行扩缩:
此查询会汇总所有 predictor pod 中的待处理请求数,为 KEDA 提供单个聚合信号,以供其进行扩缩。
验证配置
应用更新后的 InferenceService 后,KServe 会自动为你创建 KEDA ScaledObject。验证所有配置是否正常工作:
HPA 输出将显示当前指标值、扩缩阈值以及当前/期望的从节点数。随着推理流量增加,TARGETS 值会上升,从节点数也会自动扩容。