使用 Alauda AI Platform 的 LLM Compressor
本文档介绍如何使用 LLM Compressor 与 Alauda AI Platform 的集成来执行模型压缩工作流。Alauda AI Platform 的 LLM Compressor 集成提供了两个示例工作流:
- 一个工作台镜像和 data-free-compressor.ipynb,用于演示如何压缩模型。
- 一个工作台镜像和 calibration-compressor.ipynb,用于演示如何使用校准数据集压缩模型。
notebook
目录
支持的模型压缩工作流创建 Workbench准备模型制品(可选)准备并上传数据集(可选)将数据集上传到 S3 兼容的对象存储(可选)使用 S3 兼容对象存储中的数据集在 JupyterLab 中下载模型和数据集创建并运行压缩 Notebook注册压缩模型部署压缩模型并用于推理支持的模型压缩工作流
在 Alauda AI Platform 上,可以使用 Workbench 功能对存储在 S3、PVC 或 OCI registry 中的模型运行 LLM Compressor。以下工作流概述了压缩模型的典型步骤。
创建 Workbench
按照创建 Workbench中的说明创建新的 Workbench 实例。创建 Workbench 时,请确保选择镜像 odh-workbench-jupyter-pytorch-llmcompressor-cuda-py312-ubi9,该镜像包含所需的 LLM Compressor 环境。目前仅支持在 JupyterLab 中进行模型压缩。
如果此镜像在您的环境中不可用,请参阅链接文章,了解如何同步镜像并修补 WorkspaceKind 资源,以便该镜像显示在 Workbench 创建选项中。
准备模型制品
将模型下载到 Workbench 中,或将模型暂存到 Workbench 可访问的 PVC/S3 位置。压缩完成后,将输出上传到受支持的存储后端。请参阅使用 Workbench 上传模型。 使用 Model Registry 将生成的 Model URI 注册为新的 Model Registry 版本。 本指南中的示例 notebook 使用 TinyLlama-1.1B-Chat-v1.0 模型。
- 要压缩的模型。如果要使用自己的模型,可以修改此行。 2. 此配方会量化所有 Linear 层,但
lm_head中的层除外,因为这些层通常对量化较为敏感。W4A16方案会将权重压缩为4-bit整数,同时保留16-bit激活值。
(可选)准备并上传数据集
如果计划使用 data-free compressor notebook,可以跳过此步骤。
要使用 calibration compressor notebook,必须准备并上传校准数据集。请按照 使用 Notebook 上传模型 中所述的相同步骤准备数据集。示例校准 notebook 使用 ultrachat_200k 数据集。
- 使用 Huggingface datasets API 创建校准数据集。如果要使用自己的数据集,可以修改此行。 2. 选择样本数量。512 个样本是一个不错的起点。增加样本数量可以提高准确率。 3. 加载数据集。 4. 打乱数据集,并仅获取所需数量的样本。 5. 预处理并进行 tokenization,使其转换为模型使用的格式。
(可选)将数据集上传到 S3 兼容的对象存储
如果要将数据集上传到 S3 兼容的对象存储,可以在 JupyterLab 中运行以下代码。Alauda AI Platform 支持访问 S3 兼容存储,在典型的产品部署中,存储实现为 Ceph 对象存储,因此可以使用标准的 boto3 客户端。
- 如果要使用自己的数据集,可以修改此行。 2. 配置分段上传,分块大小为 100 MB,最大并发线程数为 10。
(可选)使用 S3 兼容对象存储中的数据集
如果要使用存储在 S3 兼容对象存储中的数据集,请先安装 s3fs 工具,然后按照以下示例修改数据集加载部分。在 Alauda AI Platform 环境中,此 S3 兼容存储通常由 Ceph 对象存储提供支持。
- 设置环境变量(作为备用方案,某些底层组件会使用这些变量)。将
<access-key>和<secret-key>替换为对象存储账户的凭据。 - 定义存储配置;必须为 S3 兼容对象存储服务显式指定
endpoint_url,例如 Ceph 对象存储端点。 - 如果数据集已拆分,这相当于示例中的
split="train_sft"。
在 JupyterLab 中下载模型和数据集
在 JupyterLab 终端中,使用 hf 命令行工具或经批准的对象存储客户端,将模型和数据集下载到工作区。data-free compressor notebook 不需要数据集。
建议在网络访问条件允许时,直接使用 Hugging Face(hf)命令行工具下载模型和数据集。与手动克隆存储库相比,这种方式通常更快、更简单。
如果处于受限网络环境中,可以使用 Hugging Face 镜像来加速访问:
可以使用 hf 命令行工具直接下载模型和数据集。例如,下载 TinyLlama 模型:
对于校准数据集,可以使用类似方式下载:
创建并运行压缩 Notebook
根据使用场景下载相应的示例 notebook:如果使用数据集,则下载 calibration compressor notebook;否则下载 data-free compressor notebook。单击 JupyterLab 页面上的向上箭头按钮,上传下载的 notebook 文件。
注册压缩模型
压缩完成后,使用使用 Workbench 上传模型将压缩模型上传到 S3、PVC 或 OCI registry。 然后使用 Model Registry 将其 Model URI 注册为新的 Model Registry 版本。
- 保存模型和 tokenizer。如果要更改输出名称,可以修改此行。
部署压缩模型并用于推理
使用 LLM Compressor 创建的量化模型和稀疏模型通过 compressed-tensors 库保存(该库是 Safetensors 的扩展)。
压缩格式与模型的量化或稀疏类型相匹配。这些格式在 vLLM 中原生受支持,通过使用 Alauda AI Platform Inference Server 的优化部署内核,可以实现快速推理。
按照创建推理服务中的说明完成此步骤。