安装
需求
硬件
- 至少两个节点,总计 16 核和 32 GB 内存。
- 运行时服务的额外资源由实际业务规模决定:同时运行 10 个 7B 规模的 LLM 推理实例,至少需要 10 张 GPU,以及相应的 CPU、内存、磁盘存储和对象存储。
- 每个工作节点需要 200G 可用磁盘空间。
软件
- CUDA Toolkit 版本:12.6 或更高。
INFO
如果您的 GPU 不支持 CUDA 12.6,您仍然可以使用较低版本的 CUDA Toolkit。不过,在部署 Alauda AI 之后,需要添加一个适配旧版 CUDA 的自定义推理运行时。您可以参考 扩展 LLM 推理运行时 进行操作,因为内置的 vLLM 推理运行时仅支持 CUDA 12.6 或更高版本。
安装
安装 Alauda AI 涉及以下高级任务:
- 确认并配置您的集群以满足所有需求。请参考 安装前配置。
- 配置 Alauda AI 的平台入口、认证资源以及可选的 UI 品牌信息。请参考 配置 Alauda AI 入口和品牌。
- 安装 Alauda AI。请参考 安装 Alauda AI。
至此,Alauda AI 的核心能力已成功部署。如果您想快速体验该产品,请参考 快速开始。