简体中文

English
简体中文

Alauda AI
基础设施管理
硬件配置
实用指南

安装前配置

安装 Workbench

安装 Alauda AI Essentials

安装 Alauda AI

Tools 菜单配置

升级 Alauda AI

迁移到 Knative Operator

基础设施管理

硬件配置文件管理

使用 CLI 创建 Hardware Profile

将工作负载调度到特定的 GPU 节点

创建纯 CPU 与 GPU 加速的硬件配置文件

关于 Alauda Build of Hami

关于 Alauda Build 的 NVIDIA GPU 设备插件

Namespace Management

创建 Workbench

使用 Workbench 微调 LLM

使用 Training Hub 微调大型语言模型

使用 Workbench 在 Ascend NPU 上微调和预训练 LLM

Kubeflow Trainer 快速入门

使用 Elyra 从 JupyterLab 运行 Kubeflow Pipelines

模型部署与推理

Create Inference Service using CLI

扩展推理运行时

使用 KServe Modelcar 进行模型存储

为 vLLM 推理服务启用 Expert Parallel

Configure External Access for Inference Services

面向 vLLM 推理服务的 Speculative Decoding

Configure Scaling for Inference Services

Scheduling Inference Services based on the CUDA version

Set Up Autoscaling for Inference Services with KEDA

使用 MLServer 运行时体验推理服务超时

推理服务无法进入运行状态

使用 Notebook 上传模型

监控与运维

日志记录与跟踪

添加监控面板

监控面板卡在加载中

安装 Label Studio

适用于 Alauda AI 的 LLM Compressor

Alauda 版 KubeRay Operator

CodeFlare SDK 教程

Alauda 版 Kueue

监控待处理的工作负载

配置公平共享

Gang scheduling

与 Alauda DevOps Pipelines 集成

与 InferenceService 集成

使用 Kueue 管理 Ascend NPU 配额

Alauda 版 KServe

Alauda 版 Llama Stack

安装 Llama Stack

Alauda 的 LeaderWorkerSet 构建

安装 LeaderWorkerSet

使用 Ragas 评估 RAG

Alauda Build 的 JobSet

Alauda Build of TrustyAI

安装 TrustyAI

面向 LLM 安全的 AI Guardrails

NeMo Guardrails

TrustyAI Service (TAS)

Alauda Envoy AI Gateway 构建

安装 Envoy AI Gateway

Feast 的 Alauda 构建

Alauda 对 Kubeflow 的支持

安装 Kubeflow 插件

升级 Kubeflow 插件

how_to

使用 Kubeflow Notebooks

使用 Kubeflow TensorBoard

使用 Kubeflow 卷

使用 Kubeflow Model Registry

MLflow Tracking Server

使用 Kubeflow Pipelines

使用 Kubeflow Trainer v2 进行微调

Kubernetes APIs

Inference Service APIs

ClusterServingRuntime [serving.kserve.io/v1alpha1]

推理服务 [serving.kserve.io/v1beta1]

Workspace Kind [kubeflow.org/v1beta1]

Workspace [kubeflow.org/v1beta1]

AmlNamespace [manage.aml.dev/v1alpha1]

AmlCluster [amlclusters.aml.dev/v1alpha1]

架构、版本和组件

实用指南

编辑此页面

上一页硬件配置文件管理下一页使用 CLI 创建 Hardware Profile