安装
要求
硬件
- 至少两台节点，总计16核CPU和32 GB内存。
- 运行时服务的额外资源根据实际业务规模确定：同时运行10个7B规模的LLM推理实例，至少需要10个GPU及相应的CPU、内存、磁盘存储和对象存储。
- 每个工作节点需有200G的可用磁盘空间。
软件
- CUDA Toolkit版本：12.6或更高。
INFO
如果您的GPU不支持CUDA 12.6，仍可以使用较低版本的CUDA Toolkit。但在部署Alauda AI后，需要添加适配旧版CUDA的自定义推理运行时。具体操作可参考Extend LLM Inference Runtimes，因为内置的vLLM推理运行时仅支持CUDA 12.6及更高版本。
安装
安装Alauda AI涉及以下高级任务：
- 确认并配置您的集群以满足所有要求。请参考Pre-installation Configuration。
- 安装Alauda AI Essentials。请参考Install Alauda AI Essentials。
- 安装Alauda AI。请参考Install Alauda AI。
完成上述步骤后，Alauda AI的核心能力即已成功部署。如果您想快速体验该产品，请参考Quick Start。