简体中文

English
简体中文

Alauda AI
部署
推理服务

架构、版本和组件

部署容量规划

已验证的模型

Qwen3.6-27B (W8A8)

DeepSeek-V4-Flash (W4A8)

DeepSeek-V4-Flash (W8A8)

MiniMax-M2.5 (W8A8)

关于 Alauda Build of Hami

关于 NVIDIA GPU Device Plugin 的 Alauda Build

安装前配置

上架软件包

安装 Alauda AI

安装 Workbench

配置 Alauda AI 入口和品牌

Tools 菜单配置

升级 Alauda AI

迁移到 Knative Operator

升级 Workbench

硬件配置文件管理

使用 CLI 创建 Hardware Profile

将工作负载调度到特定的 GPU 节点

创建仅 CPU 和 GPU 加速的 Profile

Namespace 管理

MLflow 工作区与访问控制

安全配置文件

安装 Secure Profile 依赖项

启用安全 Profile

创建工作台

Kubeflow Notebooks

使用 Kubeflow Notebooks

使用 Kubeflow 存储卷

使用 Kubeflow Tensorboards

使用 Connections

创建 Data Science Pipelines Application

使用 Kubeflow Pipelines

使用 Elyra 在 JupyterLab 中运行 Kubeflow Pipelines

使用可复用的 Kubeflow Pipeline 组件

Kubeflow Pipelines 执行和存储行为

使用 Kueue 调度 Alauda DevOps Pipelines

分布式工作负载

CodeFlare SDK 教程

运行 Spark Application

使用 Kubeflow Model Registry

使用带认证和 RBAC 的 MLflow Python SDK

Kubeflow Pipeline + MLflow 集成

使用 MLflow 跟踪 AI 智能体

将编码智能体与本地部署的推理服务结合使用

使用编码智能体和本地部署 LLM 运行 MLOps

Alauda 对 Kubeflow 的支持

安装 Kubeflow Operators

升级 Kubeflow Operators

数据科学流水线

Data Science Pipelines operator

安装 Data Science Pipelines

Alauda Build of KubeRay Operator

安装 KubeRay Operator

Alauda Build 的 Spark operator

安装 Spark Operator

安装 Label Studio

Alauda Build of Feast

Kubeflow Trainer 快速入门

使用 Kubeflow Trainer v2 进行 Fine-Tuning

Checkpointing 和 TrainJob 恢复

使用 Kueue、Checkpointing 和 Inference 共存的可抢占 TrainJobs

使用 Dynamic Resource Allocation (DRA) 进行 GPU 切片

Training Runtime 镜像

使用 Training Hub 对 LLM 进行微调

使用 MLflow Tracking 和 TrustyAI Evaluation 的每日 Fine-Tuning Pipeline

使用 Workbench 对 LLM 进行 Fine-tuning

在 Ascend NPU 上微调和预训练 LLM

配额与调度

配置公平共享

使用 Kueue 管理 Ascend NPU 配额

Alauda Build of Kueue

Alauda 对 Volcano 的支持

JobSet 的 Alauda Build

使用 Notebook 上传模型

管理推理服务

使用 CLI 创建推理服务

从 Kubeflow 监控面板部署推理服务

扩展推理运行时

使用 KServe Modelcar 进行模型存储

配置推理服务外部访问

配置推理服务自动扩缩容

使用 KEDA 为推理服务配置自动扩缩容

基于 CUDA 版本调度推理服务

使用 Kueue 调度推理服务

为 vLLM Inference Services 启用 Expert Parallel

vLLM 推理服务的推测解码

使用 MLServer Runtime 时遇到推理服务超时

推理服务无法进入运行状态

对消费者进行身份验证

配置令牌配额

令牌使用量计量

路由到 LLM 提供商

Token 用量分摊计费

Alauda AI 上的 LLM Compressor

Model as a Service

MaaS 管理员指南

MaaS 用户指南

MaaS 组件扩缩容

Alauda Build of KServe

Envoy AI Gateway

Envoy AI Gateway 的 Alauda 版本

Alauda Build 的 LeaderWorkerSet

LeaderWorkerSet 的 Alauda 版本

InferNex Bridge

InferNex Bridge 的 Alauda 构建版

安装 InferNex Bridge

构建 AI 应用

使用 Core Profile 快速开始

使用 Secure Profile 的 Demo

Demo Advanced：带有 Token Exchange 的 Tool 上的 AuthBridge

Envoy AI Gateway 后端包含两个 MCP server 的 Kagenti

Alauda 的 Llama Stack 构建

安装 Llama Stack

Kagenti Operator

MCP 生命周期 Operator

Alauda Build 的 MCP Lifecycle Operator

安装 MCP Lifecycle Operator

评测与安全

使用 Ragas 评估 RAG

用于 LLM 安全的 AI Guardrails

NeMo Guardrails

TrustyAI 的 Alauda Build

安装 TrustyAI

部署 TrustyAI Service

监控与运维

日志与链路追踪

监控指标和视图

添加监控面板

监控待处理工作负载

监控面板卡在加载中

偏差与漂移监控

Kubernetes APIs

Inference Service APIs

ClusterServingRuntime [serving.kserve.io/v1alpha1]

InferenceService [serving.kserve.io/v1beta1]

Workspace Kind [kubeflow.org/v1beta1]

Workspace [kubeflow.org/v1beta1]

AmlNamespace [manage.aml.dev/v1alpha1]

AmlCluster [amlclusters.aml.dev/v1alpha1]

推理服务

介绍

管理推理服务

操作指南

故障排查

编辑此页面

上一页模型共享下一页介绍