简体中文

English
简体中文

Alauda AI
模型部署与推理
模型管理
实用指南

安装前配置

安装 Workbench

安装 Alauda AI Essentials

安装 Alauda AI

安装 Alauda Build of KServe

工具菜单配置

Kubeflow Chart 插件

升级 Alauda AI

Alauda 对 Kubeflow 的支持

how_to

使用 Kubeflow Notebooks

使用 Kubeflow Tensorboards

使用 Kubeflow 卷

使用 Kubeflow Model Registry

使用 Kubeflow Pipelines

基础设施管理

关于 Alauda Build of Hami

关于 Alauda Build 的 NVIDIA GPU 设备插件

Namespace Management

创建工作台

使用 Workbench 对 LLM 进行微调

Kubeflow Trainer 快速入门

模型部署与推理

Create Inference Service using CLI

Extend Inference Runtimes

使用 KServe Modelcar 进行模型存储

Configure External Access for Inference Services

Configure Scaling for Inference Services

Scheduling Inference Services based on the CUDA version

Set Up Autoscaling for Inference Services with KEDA

使用 MLServer 运行时体验推理服务超时

推理服务无法进入运行状态

Model Repository

使用 Notebook 上传模型

监控与运维

日志记录与跟踪

添加监控面板

监控面板卡在加载中

安装 Label Studio

Alauda 版 Kueue

监控待处理的工作负载

配置公平共享

Gang scheduling

与 Alauda DevOps Pipelines 集成

与 InferenceService 集成

LLM Compressor 与 Alauda AI

Alauda 版 Llama Stack

安装 Llama Stack

Alauda 版 LeaderWorkerSet

Alauda 版 TrustyAI

安装 TrustyAI

面向 LLM 安全的 AI Guardrails

Kubernetes APIs

Inference Service APIs

ClusterServingRuntime [serving.kserve.io/v1alpha1]

推理服务 [serving.kserve.io/v1beta1]

Workspace Kind [kubeflow.org/v1beta1]

Workspace [kubeflow.org/v1beta1]

AmlNamespace [manage.aml.dev/v1alpha1]

AmlCluster [amlclusters.aml.dev/v1alpha1]

实用指南

编辑此页面

上一页模型存储下一页使用 Notebook 上传模型