使用 Training Hub 运行带可验证奖励的 RL
带可验证奖励的强化学习(RLVR)通过可由程序检查的奖励来训练语言模型。例如,当最终答案与预期答案等价时,数学验证器可以返回 1,否则返回 0。由于奖励不需要人工标注或训练得到的奖励模型,因此具有可复现性且易于验证。
本指南通过 Training Hub 的 lora_grpo API 运行组相对策略优化(GRPO)。verl 后端使用 vLLM 进行生成,并使用 FSDP 进行分布式训练。需要运行全参数 GRPO 时,请设置 lora_r=0;本示例使用 LoRA,因此所需的 GPU 资源较少。
要求
- 配备 NVIDIA GPU 的 Alauda AI Workbench。使用
verl后端时,请使用多个 GPU。 - 可访问互联网,或配置 PyPI 和模型仓库的内部镜像。
- 支持 Transformers 聊天模板的基础因果语言模型。
- Training Hub 0.11 或更高版本。
verl后端需要grpo-verlextra。
在 Workbench 终端中安装依赖项:
该 extra 会安装 Training Hub 的 GRPO 依赖项和 verl。后端还需要可正常工作的 CUDA、PyTorch 和 vLLM 环境;请使用与 GPU 驱动程序和 CUDA 版本匹配的 Workbench 镜像。
准备可验证奖励数据
创建一个 JSONL 文件,每行包含一道数学题。problem 会发送给模型,answer 则作为真实值传递给验证器:
评估运行结果时,请单独准备验证文件,并确保答案明确无歧义。内置数学奖励会提取最终答案(优先使用 \\boxed{...}),并使用 math_verify 进行语义比较;如果无法进行语义比较,则回退到规范化字符串比较。
启动 GRPO 运行
在 Workbench 中将以下内容保存为 run_rlvr.py。在增加数据集规模和迭代次数之前,请先使用较小的模型和较小的 n_train 值进行冒烟测试。
激活环境后运行:
使用默认的 verl 智能体工作节点配置时,prompt_batch_size * group_size 必须能被 n_gpus * 4 整除。如果运行报告整除错误,请将 prompt_batch_size 增大到错误消息中建议的值。后端会将准备好的 Parquet 数据写入 ckpt_output_dir/verl_data,并将检查点写入 ckpt_output_dir/checkpoints。
监控并验证结果
训练日志包含平均奖励以及完全匹配的 rollout 占比。
在使用检查点进行推理之前,请检查生成的 training_metrics.jsonl 和检查点目录:
在未用于训练的问题上进行评估。较高的训练奖励可能意味着策略记住了示例,或学会了利用验证器。在评估集中加入格式检查和对抗性用例,并检查响应是否符合所需的最终答案格式。
使用自定义验证器
对于代码执行或结构化工具调用等领域,请提供 Python 奖励函数。该函数必须可导入,并使用 verl 奖励签名:
将函数放入 .py 文件,并传递给 lora_grpo:
验证器应具有确定性、范围受限,并且独立于模型的训练过程。仅当部分奖励代表有意义且可测试的属性时才返回;否则,二元通过/失败奖励更易于解读。
故障排除
- CUDA 或 vLLM 导入错误:使用包含受已安装的
verl和 vLLM 软件包支持的 CUDA 与 PyTorch 版本的 Workbench 镜像,然后在已激活的环境中重新安装额外依赖项。 - rollout 期间内存不足:降低
gpu_memory_utilization、max_tokens或group_size;必要时为 actor 使用param_offload=True。 - 没有学习信号:直接检查样本响应和验证器。始终返回
0或始终返回1的验证器无法训练出有用的策略。 - 恢复检查点:使用相同的
ckpt_output_dir重新运行;verl后端会自动使用已保存的检查点恢复运行。
如需了解 SFT、OSFT、QLoRA 和持续预训练工作流,请参阅 使用 Training Hub 微调 LLM。