安装

Requirements

Hardware

  • 至少需要两台节点,合计 16 核和 32 GB 内存。
  • 运行时服务所需的额外资源取决于实际业务规模:同时运行 10 个 7B 规模的 LLM 推理实例,至少需要 10 个 GPU,以及相应的 CPU、内存、磁盘存储和对象存储。
  • 每个 worker 节点需要 200G 可用磁盘空间。

Software

  • CUDA Toolkit 版本:12.6 或更高。
INFO

If your GPU does not support CUDA 12.6, you may still use lower versions of the CUDA Toolkit.However, after deploying Alauda AI, it is necessary to add a custom inference runtime that is adapted for older CUDA versions. This can be done by referring to Extend LLM Inference Runtimes,since the built-in vLLM inference runtime only supports CUDA 12.6 or later versions.

安装

安装 Alauda AI 涉及以下高级任务:

  1. 确认并配置你的集群以满足所有要求。请参阅 Pre-installation Configuration。
  2. 为 Alauda AI 配置平台入口、认证资源以及可选的 UI 品牌设置。请参阅 Configure Alauda AI Entry and Branding。
  3. 安装 Alauda AI。请参阅 Install Alauda AI。

然后,Alauda AI 的核心能力就已成功部署。如果你想快速体验该产品,请参阅 Quick Start。