Alauda AI
  • 简体中文

    • InferNex Bridge 的 Alauda 构建版

    目录

    InferNex Bridge部署模式KServe LLMInferenceServiceInferNexService推理引擎拓扑结构功能文档

    InferNex Bridge

    InferNex Bridge 的 Alauda 构建版 基于 openFuyao InferNex 项目。 InferNex Bridge 将 KServe LLMInferenceService 工作负载连接到 InferNex 推理加速栈，同时也为不使用 KServe 的环境提供原生 InferNexService API。

    该 operator 会安装 InferNex Bridge controller、admission webhooks、RBAC 以及以下主要产品 API：

    • InferNexService：一种托管的 LLM 推理服务，可部署 inference engines、Hermes Router、Mooncake KV cache、cache-indexer、PD-Orchestrator、Eagle-Eye 以及相关资源。
    • InferNexServiceConfig：一个可复用的配置模板，由 InferNexService 通过 spec.baseRefs 引用。

    OLM bundle 还会安装托管弹性编排组件所使用的 Tidal、ElasticScaler 和 ResourceScalingGroup CRD。

    部署模式

    InferNex Bridge 支持两个部署入口。每个推理服务请选择其中一个入口，不要通过两条路径同时部署同一个服务。

    InferNex Bridge 目前仅支持 NPU 推理工作负载。

    KServe LLMInferenceService

    当 KServe 已经安装，并且您希望继续使用 KServe LLMInferenceService 工作流时，请使用此模式。

    将 infernex.io/runtime: "true" 标签添加到 LLMInferenceService。KServe 继续协调 inference engine、Hermes Router、Gateway、HTTPRoute 和 InferencePool；InferNex Bridge 负责协调 InferNex 增强组件，例如 Mooncake KV cache、cache-indexer、PD-Orchestrator、Eagle-Eye，以及 KServe runtime 兼容性补丁。

    InferNexService

    当您希望 InferNex Bridge 在不使用 KServe 作为入口的情况下管理完整推理服务时，请使用此模式。

    创建一个引用一个或多个 InferNexServiceConfig 模板的 InferNexService。InferNex Bridge 会协调 inference engine、Hermes Router、增强组件；当启用智能网关路由时，还会协调 Gateway API 资源。

    推理引擎拓扑结构

    推理引擎拓扑结构与部署入口无关。请在推理服务或其引用的运行时配置中选择拓扑结构：

    拓扑结构行为典型用法
    Aggregate同一个引擎工作负载同时处理 prefill 和 decode。仍然可以启用 Mooncake 和 cache-indexer，以复用 KV cache。一种更简单的部署方式，不需要将 prefill 和 decode 角色分离。
    Prefill-decode (PD)prefill 和 decode 作为独立工作负载运行。Proxy-server 协调这两个角色，配置后 Mooncake 可在它们之间传输 KV cache 数据。对 prefill 和 decode 角色进行独立扩缩容和调优。

    功能

    • KServe 兼容性：使用现有的 KServe LLMInferenceService 工作流，并通过 infernex.io/runtime: "true" 标签启用 InferNex 加速。
    • 原生 InferNex API：直接使用 InferNexService 和可复用的 InferNexServiceConfig 模板部署推理服务。
    • Prefill-decode 解耦：通过 proxy-server 协调 prefill 和 decode 工作负载，运行 P/D 推理模式。
    • Mooncake KV cache：部署 Mooncake KV cache 和 cache-indexer 组件，用于 KV cache 复用与协调。
    • 智能网关路由：集成 Hermes Router 和 Gateway API 资源，实现面向模型的请求路由。
    • 弹性编排：当推理引擎 replica 字段交由 scaler 管理时，使用 PD-Orchestrator 组件，例如 Elastic-Scaler、Tidal 和 ResourceScalingGroup。
    • 可选硬件可观测性：在 NATS 和所需的监控依赖就绪后，启用 Eagle-Eye 硬件监控、硬件诊断和网络性能采集。Alauda OLM 模板中默认禁用 EagleEye，禁用后不会影响核心推理路径。

    平台上的安装方法请参见 安装 InferNex Bridge。

    文档

    InferNex Bridge 上游文档和关键依赖：