MaaS 组件扩缩容
本指南说明如何对构成 Model as a Service (MaaS) 的组件进行扩缩容:Gateway、Authorino、限流器,以及 Guardrail engine 和 shim。相关建议基于长流式 SSE 负载测试以及对组件数据平面的观察结果。
Gateway
Gateway 是一个受 CPU 限制的数据平面组件。其 CPU 利用率完全可以保持在较高水平:在 SSE 负载测试中,只要副本数和资源充足,较高的 CPU 利用率本身并不会导致请求失败。应当预期并容忍较高的 CPU 使用率,并配置告警,以避免误报。
当 Gateway 负载很高时,可以通过增加副本数或 CPU 进行扩容。一个合理的起始告警点是:CPU 持续高位运行,同时 SSE 行为劣化。因此,在决定是否扩容前,应将 CPU 与以下信号结合起来判断:
- HTTP 错误和非
200响应; - 以
[DONE]结尾的 SSE 流没有结束; - TTFT 和总流持续时间增加;
- CPU 限流以及 pod 重启。
Authorino
Authorino 对延迟敏感。其瓶颈不在于 CPU 利用率是否达到 100%,而在于 ext_authz 检查能否在超时时间内完成。当 Authorino 对请求排队或处理过慢时,即使 Authorino pod 仍有 CPU 余量,Envoy 也可能因 ext_authz 超时而返回 403。对此类情况,Envoy 的典型响应标志是 UAEX。
不要仅依据 CPU 为 Authorino 定规格。应监控授权延迟、请求排队以及 ext_authz 超时情况,并在延迟或超时率上升时,通过增加副本数进行横向扩展。
限流器
限流器用于强制执行每个订阅的令牌配额。应根据实际请求速率以及所使用的限流策略来确定其副本和资源配置,并在预期流量模型下进行验证。
Guardrail engine 和 shim
Guardrail engine 使用 Python 实现。单个 engine 实例不能很好地利用多个 CPU 核心:在 SSE 负载测试中,分配 1 CPU 的 engine pod 并未饱和,而为单个实例分配更多核心也没有提升并发吞吐量。经过验证,对 Guardrail engine 进行扩展的有效方式是增加 engine 副本数,同时将每个 engine pod 保持为 1 CPU。
应根据 ext_proc 调用延迟、错误率和并发度来扩展 Guardrail ext_proc shim。
在哪里配置副本和资源
大多数 MaaS 组件都在 MaaS Tenant 上进行配置:
- Gateway:
spec.gatewayDeployment - Authorino:
spec.authorinoDeployment - Guardrail engine 和 shim:
spec.guardrails.engine和spec.guardrails.shim
全局限流器(envoy-ratelimit)是例外。它在安装 MaaS 的 AmlCluster 上进行配置,位于 spec.values.maas.gateway.rateLimit 下。
engine.replicas 和 shim.replicas 字段分别控制 Guardrail engine 和 shim 的副本数。对于 Guardrail engine,请将每个 pod 保持为 1 CPU,并通过增加 engine.replicas 进行扩展。
示例 Tenant:
示例 AmlCluster 限流配置: