介绍
InferNex Bridge
InferNex Bridge 的 Alauda 构建版 基于 openFuyao InferNex 项目。
InferNex Bridge 将 KServe LLMInferenceService 工作负载与 InferNex 推理加速栈连接起来,并且还为不使用 KServe 的环境提供原生 InferNexService API。
operator 会安装 InferNex Bridge controller、admission webhooks、RBAC,以及以下主要产品 API:
- InferNexService:一种托管的 LLM 推理服务,可部署 inference engines、Hermes Router、Mooncake KV cache、cache-indexer、PD-Orchestrator、Eagle-Eye 及相关资源。
- InferNexServiceConfig:
InferNexService可通过spec.baseRefs引用的可复用配置模板。
OLM bundle 还会安装托管弹性编排组件所使用的 Tidal、ElasticScaler 和 ResourceScalingGroup CRD。
部署模式
InferNex Bridge 支持两个部署入口。每个推理服务请选择一个入口,不要通过两条路径同时部署同一个服务。
InferNex Bridge 目前仅支持 NPU 推理工作负载。
KServe LLMInferenceService
当 KServe 已经安装,并且你希望保留 KServe LLMInferenceService 工作流时,请使用此模式。
为 LLMInferenceService 添加 infernex.io/runtime: "true" 标签。KServe 继续协调 inference engine、Hermes Router、Gateway、HTTPRoute 和 InferencePool;InferNex Bridge 则协调 Mooncake KV cache、cache-indexer、PD-Orchestrator、Eagle-Eye 以及 KServe runtime 兼容性补丁等 InferNex 增强组件。
InferNexService
当你希望 InferNex Bridge 管理完整的推理服务,而不使用 KServe 作为入口时,请使用此模式。
创建一个引用一个或多个 InferNexServiceConfig 模板的 InferNexService。InferNex Bridge 会协调 inference engine、Hermes Router、增强组件;当启用智能网关路由时,还会协调 Gateway API 资源。
推理引擎拓扑
推理引擎拓扑与部署入口无关。请在推理服务或其引用的运行时配置中选择拓扑:
功能
- KServe 兼容性:使用现有的 KServe
LLMInferenceService工作流,并通过infernex.io/runtime: "true"标签启用 InferNex 加速。 - 原生 InferNex API:直接使用
InferNexService和可复用的InferNexServiceConfig模板部署推理服务。 - prefill-decode 解耦:通过 proxy-server 协调 prefill 和 decode 工作负载,运行 P/D 推理模式。
- Mooncake KV cache:部署 Mooncake KV cache 和 cache-indexer 组件,实现 KV cache 复用和协调。
- 智能网关路由:集成 Hermes Router 和 Gateway API 资源,以实现面向模型的请求路由。
- 弹性编排:当 inference engine replica 字段留给 scaler 管理时,使用 PD-Orchestrator 组件,例如 Elastic-Scaler、Tidal 和 ResourceScalingGroup。
- 可选硬件可观测性:在 NATS 和所需的监控依赖就绪后,启用 Eagle-Eye 硬件监控、硬件诊断和网络性能采集。EagleEye 在 Alauda OLM 模板中默认禁用,禁用时不会影响核心推理路径。
在平台上安装时,请参见 安装 InferNex Bridge。
文档
InferNex Bridge 上游文档和关键依赖项:
- InferNex Bridge 用户指南:https://gitcode.com/openFuyao/sig-ai-inference/blob/main/docs/zh/ai_inference_infernex/user_guide/ai_inference_infernex_bridge.md — 上游用户指南,涵盖部署模式、前提条件和使用示例。
- InferNex 源码:https://gitcode.com/openFuyao/InferNex — 源代码、chart、示例和 release tag。
- InferNex Bridge 技术规格:https://gitcode.com/openFuyao/InferNex/blob/v26.6.0/component/InferNex-Bridge/docs/InferNex-Bridge-Technical-Specification.md — 此版本的架构、职责边界、webhook 行为和路由契约。
- KServe 文档:https://kserve.github.io/website/ — KServe 概念和
LLMInferenceService文档。 - Gateway API Inference Extension:https://gateway-api-inference-extension.sigs.k8s.io/ — 用于模型路由的具备推理感知能力的 Gateway API 资源。