安装
Requirements
Hardware
- 至少需要两台节点,合计 16 核和 32 GB 内存。
- 运行时服务所需的额外资源取决于实际业务规模:同时运行 10 个 7B 规模的 LLM 推理实例,至少需要 10 个 GPU,以及相应的 CPU、内存、磁盘存储和对象存储。
- 每个 worker 节点需要 200G 可用磁盘空间。
Software
- CUDA Toolkit 版本:12.6 或更高。
INFO
If your GPU does not support CUDA 12.6, you may still use lower versions of the CUDA Toolkit.However, after deploying Alauda AI, it is necessary to add a custom inference runtime that is adapted for older CUDA versions. This can be done by referring to Extend LLM Inference Runtimes,since the built-in vLLM inference runtime only supports CUDA 12.6 or later versions.
安装
安装 Alauda AI 涉及以下高级任务:
- 确认并配置你的集群以满足所有要求。请参阅 Pre-installation Configuration。
- 为 Alauda AI 配置平台入口、认证资源以及可选的 UI 品牌设置。请参阅 Configure Alauda AI Entry and Branding。
- 安装 Alauda AI。请参阅 Install Alauda AI。
然后,Alauda AI 的核心能力就已成功部署。如果你想快速体验该产品,请参阅 Quick Start。