介绍

InferNex Bridge

InferNex Bridge 的 Alauda 构建版 基于 openFuyao InferNex 项目。 InferNex Bridge 将 KServe LLMInferenceService 工作负载与 InferNex 推理加速栈连接起来,并且还为不使用 KServe 的环境提供原生 InferNexService API。

operator 会安装 InferNex Bridge controller、admission webhooks、RBAC,以及以下主要产品 API:

  • InferNexService:一种托管的 LLM 推理服务,可部署 inference engines、Hermes Router、Mooncake KV cache、cache-indexer、PD-Orchestrator、Eagle-Eye 及相关资源。
  • InferNexServiceConfig:InferNexService 可通过 spec.baseRefs 引用的可复用配置模板。

OLM bundle 还会安装托管弹性编排组件所使用的 Tidal、ElasticScaler 和 ResourceScalingGroup CRD。

部署模式

InferNex Bridge 支持两个部署入口。每个推理服务请选择一个入口,不要通过两条路径同时部署同一个服务。

InferNex Bridge 目前仅支持 NPU 推理工作负载。

KServe LLMInferenceService

当 KServe 已经安装,并且你希望保留 KServe LLMInferenceService 工作流时,请使用此模式。

为 LLMInferenceService 添加 infernex.io/runtime: "true" 标签。KServe 继续协调 inference engine、Hermes Router、Gateway、HTTPRoute 和 InferencePool;InferNex Bridge 则协调 Mooncake KV cache、cache-indexer、PD-Orchestrator、Eagle-Eye 以及 KServe runtime 兼容性补丁等 InferNex 增强组件。

InferNexService

当你希望 InferNex Bridge 管理完整的推理服务,而不使用 KServe 作为入口时,请使用此模式。

创建一个引用一个或多个 InferNexServiceConfig 模板的 InferNexService。InferNex Bridge 会协调 inference engine、Hermes Router、增强组件;当启用智能网关路由时,还会协调 Gateway API 资源。

推理引擎拓扑

推理引擎拓扑与部署入口无关。请在推理服务或其引用的运行时配置中选择拓扑:

拓扑行为典型用途
Aggregate同一个引擎工作负载同时处理 prefill 和 decode。仍然可以启用 Mooncake 和 cache-indexer,以实现 KV cache 复用。不需要将 prefill 和 decode 角色拆分的更简单部署。
Prefill-decode (PD)prefill 和 decode 作为独立工作负载运行。proxy-server 协调这两个角色,并且在配置后,Mooncake 可以在它们之间传输 KV cache 数据。对 prefill 和 decode 角色进行独立扩缩容和调优。

功能

  • KServe 兼容性:使用现有的 KServe LLMInferenceService 工作流,并通过 infernex.io/runtime: "true" 标签启用 InferNex 加速。
  • 原生 InferNex API:直接使用 InferNexService 和可复用的 InferNexServiceConfig 模板部署推理服务。
  • prefill-decode 解耦:通过 proxy-server 协调 prefill 和 decode 工作负载,运行 P/D 推理模式。
  • Mooncake KV cache:部署 Mooncake KV cache 和 cache-indexer 组件,实现 KV cache 复用和协调。
  • 智能网关路由:集成 Hermes Router 和 Gateway API 资源,以实现面向模型的请求路由。
  • 弹性编排:当 inference engine replica 字段留给 scaler 管理时,使用 PD-Orchestrator 组件,例如 Elastic-Scaler、Tidal 和 ResourceScalingGroup。
  • 可选硬件可观测性:在 NATS 和所需的监控依赖就绪后,启用 Eagle-Eye 硬件监控、硬件诊断和网络性能采集。EagleEye 在 Alauda OLM 模板中默认禁用,禁用时不会影响核心推理路径。

在平台上安装时,请参见 安装 InferNex Bridge。

文档

InferNex Bridge 上游文档和关键依赖项: