Reward model和llm as judge在使用上有什么大的区别呢? 二者都是对内容进行人类偏好评价，区别可能是reward model输出一个标量或者多维度评分或者生成式，相比起来llm as judge貌似更加灵活，… 图4：Reward Model 输入 Reward Model 通常也采用基于 Transformer 架构的预训练语言模型。 在 Reward Model 中，移除最后一个非嵌入层，并在最终的 Transformer 层上叠加了一个额外的线性层。 原本打算就这样放弃了，但我看到Microsoft Rewards兑换中心还提供了用积分捐款的选项，我尝试了一下，发现居然兑换成功了，也就是说用积分兑换捐赠可以，但兑换礼品卡就失败，不过因为捐赠耗费1000积分，所以再兑换其他礼品券积分也不够了。 在目前的RL算法中，需要对同一个prompt进行采样，如果采样而结果正确率（即reward全是正确）全是1，或者结果正确率（即reward）全是0， 则该组的 \hat {A} 仅为0，为0则不会产生梯度更新，降低样本的效率。
