安装
Requirements
Hardware
- 至少需要两个节点，总计具备 16 核和 32 GB 内存。
- 运行时服务所需的额外资源取决于实际业务规模：同时运行 10 个 7B 规模的 LLM 推理实例，至少需要 10 块 GPU 以及相应的 CPU、内存、磁盘存储和对象存储。
- 每个 worker 节点需要 200G 可用磁盘空间。
Software
- CUDA Toolkit 版本：12.6 或更高。
INFO
如果你的 GPU 不支持 CUDA 12.6，仍然可以使用较低版本的 CUDA Toolkit。不过，在部署 Alauda AI 之后，需要添加一个适配旧版 CUDA 的自定义推理 runtime。可参考 扩展 LLM 推理 runtimes，因为内置的 vLLM 推理 runtime 仅支持 CUDA 12.6 或更高版本。
安装
安装 Alauda AI 涉及以下高级任务：
- 确认并配置你的集群以满足所有要求。请参考 安装前配置。
- 为 Alauda AI 配置平台入口、认证资源以及可选的 UI 品牌设置。请参考 配置 Alauda AI 入口和品牌。
- 安装 Alauda AI。请参考 安装 Alauda AI。
完成后，Alauda AI 的核心能力就已成功部署。如果你想快速体验该产品，请参考 快速开始。