安装

要求

硬件

  • 至少需要两个节点,总计具有 16 个核心和 32 GB 内存。
  • 运行时服务所需的额外资源取决于实际业务规模:同时运行 10 个 7B 规模的 LLM 推理实例,至少需要 10 个 GPU,以及相应的 CPU、内存、磁盘存储和对象存储。
  • 每个 worker 节点需要 200G 可用磁盘空间。

软件

  • CUDA Toolkit 版本:12.6 或更高版本。
INFO

如果您的 GPU 不支持 CUDA 12.6,仍可以使用较低版本的 CUDA Toolkit。不过,部署 Alauda AI Platform 后,需要添加适配旧版 CUDA 的自定义推理运行时。您可以参考扩展 LLM 推理运行时进行配置,因为内置的 vLLM 推理运行时仅支持 CUDA 12.6 或更高版本。

安装

安装 Alauda AI Platform 涉及以下高级任务:

  1. 确认并配置集群,使其满足所有要求。请参阅安装前配置。
  2. 配置 Alauda AI Platform 的平台入口、身份验证资源以及可选的 UI 品牌设置。请参阅配置 Alauda AI Platform 入口和品牌。
  3. 安装 Alauda AI Platform。请参阅安装 Alauda AI Platform。

完成上述操作后,Alauda AI Platform 的核心功能即已成功部署。如果您希望快速体验该产品,请参阅快速入门。