Alauda AI Platform 推理管理
KServe
Alauda AI Platform 推理管理基于 KServe。 KServe 提供了标准化的云原生接口,用于在 Kubernetes 上大规模提供机器学习模型服务。 它围绕两种主要场景发展:面向传统 ML 推理的预测式 AI,以及面向基于 LLM 的工作负载的生成式 AI。
生成式 AI
生成式 AI 支持针对使用兼容 OpenAI API 的大型语言模型(LLM)服务进行了优化。
- llm-d(分布式 LLM 推理):一种 Kubernetes 原生分布式推理框架,在 KServe 控制平面下运行。llm-d 使用 Leader/Worker 模式编排多节点 LLM 推理,并根据 KV cache 状态和 GPU 负载做出实时路由决策,从而支持感知 KV cache 的请求调度、弹性张量/流水线并行,以及集群范围内如同单机运行的推理。对于超出单节点内存容量的大型模型(例如 Llama 3.1 405B),这可以降低每个令牌的成本并最大限度地提高 GPU 利用率。
- LLM 推理与流式传输:原生支持流式响应(SSE / chunked transfer),为聊天和补全工作负载实现实时令牌传输,并提供兼容 OpenAI 的
/chat/completions和/completionsAPI。 - vLLM Runtime:将 vLLM 作为高性能 LLM 服务后端进行一流集成,并支持连续批处理和 PagedAttention。
- Gateway 集成:原生集成 Envoy Gateway 和 Gateway API Inference Extension (GIE),支持在推理服务之间进行 AI 感知的流量路由、负载均衡和按模型限流。
- LLM 自动扩缩容:针对 LLM 吞吐特征的基于指标的自动扩缩容策略,包括通过缩容至零提高成本效率。
预测式 AI
预测式 AI 面向传统机器学习模型服务,满足高吞吐量和低延迟要求。
- InferenceService:用于部署和管理模型服务端点的核心 CRD。支持金丝雀发布、跨模型版本的流量拆分以及 A/B 测试工作流。
- 模型服务运行时:为常用 ML 框架预集成运行时,包括 TensorFlow Serving、TorchServe、Triton Inference Server、SKLearn、XGBoost 等。通过 ClusterServingRuntime 和 ServingRuntime CRD 支持自定义运行时。
- Inference Graph:InferenceGraph CRD 支持将多个模型组合成流水线,包括前处理/后处理节点、路由逻辑和集成模式。
- 自动扩缩容:通过 KEDA 或 Kubernetes HPA 支持缩容至零和从零扩容,并可根据请求速率、队列深度或自定义指标制定策略。
KServe 由 Alauda AI Platform 通过 kserve 组件在 default AmlCluster 中安装和管理。有关 KServe 配置,请参阅 安装 Alauda AI Platform。
文档
KServe 上游文档和关键依赖项:
- KServe 文档:https://kserve.github.io/website/ — 官方文档,涵盖概念、模型服务运行时和 API 参考。
- KServe GitHub:https://github.com/kserve/kserve — 源代码、release notes 和问题。
- llm-d:https://github.com/llm-d/llm-d — Kubernetes 原生分布式 LLM 推理框架,支持感知 KV cache 的调度和弹性并行。
- LeaderWorkerSet (LWS):https://github.com/kubernetes-sigs/lws — Kubernetes SIG 工作负载控制器,用于多节点 Leader/Worker 模式,是多节点 LLM 推理的必需组件。
- Envoy Gateway:https://gateway.envoyproxy.io/ — 基于 Envoy Proxy 构建的 Kubernetes 原生网关,为 KServe 推理服务提供底层流量管理。
- Agent Router:https://theagentrouter.ai/ — 在 Envoy Gateway 之上提供的 AI 专用网关功能,包括 AI 感知路由和按模型制定策略。
- Gateway API Inference Extension (GIE):https://gateway-api-inference-extension.sigs.k8s.io/ — Kubernetes SIG 项目,为推理服务提供 AI 感知路由和负载均衡。