使用 Training Hub 运行带可验证奖励的 RL

带可验证奖励的强化学习(RLVR)通过可由程序检查的奖励来训练语言模型。例如,当最终答案与预期答案等价时,数学验证器可以返回 1,否则返回 0。由于奖励不需要人工标注或训练得到的奖励模型,因此具有可复现性且易于验证。

本指南通过 Training Hub 的 lora_grpo API 运行组相对策略优化(GRPO)。verl 后端使用 vLLM 进行生成,并使用 FSDP 进行分布式训练。需要运行全参数 GRPO 时,请设置 lora_r=0;本示例使用 LoRA,因此所需的 GPU 资源较少。

要求

  • 配备 NVIDIA GPU 的 Alauda AI Workbench。使用 verl 后端时,请使用多个 GPU。
  • 可访问互联网,或配置 PyPI 和模型仓库的内部镜像。
  • 支持 Transformers 聊天模板的基础因果语言模型。
  • Training Hub 0.11 或更高版本。verl 后端需要 grpo-verl extra。

在 Workbench 终端中安装依赖项:

python -m venv /workspace/venv
source /workspace/venv/bin/activate
python -m pip install --upgrade pip
python -m pip install "training-hub[grpo-verl]"

该 extra 会安装 Training Hub 的 GRPO 依赖项和 verl。后端还需要可正常工作的 CUDA、PyTorch 和 vLLM 环境;请使用与 GPU 驱动程序和 CUDA 版本匹配的 Workbench 镜像。

准备可验证奖励数据

创建一个 JSONL 文件,每行包含一道数学题。problem 会发送给模型,answer 则作为真实值传递给验证器:

{"problem": "What is 17 * 19?", "answer": "323"}
{"problem": "Solve 3x + 5 = 20. Give x.", "answer": "5"}

评估运行结果时,请单独准备验证文件,并确保答案明确无歧义。内置数学奖励会提取最终答案(优先使用 \\boxed{...}),并使用 math_verify 进行语义比较;如果无法进行语义比较,则回退到规范化字符串比较。

启动 GRPO 运行

在 Workbench 中将以下内容保存为 run_rlvr.py。在增加数据集规模和迭代次数之前,请先使用较小的模型和较小的 n_train 值进行冒烟测试。

from training_hub import lora_grpo

result = lora_grpo(
    model_path="Qwen/Qwen3-4B",
    data_path="/workspace/data/math_rlvr.jsonl",
    ckpt_output_dir="/workspace/checkpoints/qwen3-rlvr",
    backend="verl",
    reward_type="math",
    n_train=128,
    n_val=32,
    # GRPO settings
    num_iterations=3,
    prompt_batch_size=8,
    group_size=4,
    max_tokens=256,
    learning_rate=1e-5,
    # LoRA settings
    lora_r=16,
    lora_alpha=8,
    # Hardware settings
    n_gpus=2,
    gpu_memory_utilization=0.35,
)

print(result)

激活环境后运行:

source /workspace/venv/bin/activate
python run_rlvr.py

使用默认的 verl 智能体工作节点配置时,prompt_batch_size * group_size 必须能被 n_gpus * 4 整除。如果运行报告整除错误,请将 prompt_batch_size 增大到错误消息中建议的值。后端会将准备好的 Parquet 数据写入 ckpt_output_dir/verl_data,并将检查点写入 ckpt_output_dir/checkpoints。

监控并验证结果

训练日志包含平均奖励以及完全匹配的 rollout 占比。 在使用检查点进行推理之前,请检查生成的 training_metrics.jsonl 和检查点目录:

jq 'select(.phase == "rollout") | {step, mean_reward, full_match_rate}' \
  /workspace/checkpoints/qwen3-rlvr/training_metrics.jsonl
find /workspace/checkpoints/qwen3-rlvr/checkpoints -maxdepth 2 -type f | head

在未用于训练的问题上进行评估。较高的训练奖励可能意味着策略记住了示例,或学会了利用验证器。在评估集中加入格式检查和对抗性用例,并检查响应是否符合所需的最终答案格式。

使用自定义验证器

对于代码执行或结构化工具调用等领域,请提供 Python 奖励函数。该函数必须可导入,并使用 verl 奖励签名:

def compute_score(data_source, solution_str, ground_truth, **kwargs):
    """Return a scalar reward in the range [0, 1]."""
    expected = str(ground_truth).strip()
    answer = solution_str.strip().splitlines()[-1].strip()
    return 1.0 if answer == expected else 0.0

将函数放入 .py 文件,并传递给 lora_grpo:

from reward import compute_score
from training_hub import lora_grpo

lora_grpo(
    model_path="Qwen/Qwen3-4B",
    data_path="/workspace/data/tasks.jsonl",
    ckpt_output_dir="/workspace/checkpoints/custom-rlvr",
    backend="verl",
    reward_type="custom",
    reward_fn=compute_score,
    data_source="exact-answer",
    n_gpus=2,
)

验证器应具有确定性、范围受限,并且独立于模型的训练过程。仅当部分奖励代表有意义且可测试的属性时才返回;否则,二元通过/失败奖励更易于解读。

故障排除

  • CUDA 或 vLLM 导入错误:使用包含受已安装的 verl 和 vLLM 软件包支持的 CUDA 与 PyTorch 版本的 Workbench 镜像,然后在已激活的环境中重新安装额外依赖项。
  • rollout 期间内存不足:降低 gpu_memory_utilization、max_tokens 或 group_size;必要时为 actor 使用 param_offload=True。
  • 没有学习信号:直接检查样本响应和验证器。始终返回 0 或始终返回 1 的验证器无法训练出有用的策略。
  • 恢复检查点:使用相同的 ckpt_output_dir 重新运行;verl 后端会自动使用已保存的检查点恢复运行。

如需了解 SFT、OSFT、QLoRA 和持续预训练工作流,请参阅 使用 Training Hub 微调 LLM。