[{"data":1,"prerenderedAt":461},["ShallowReactive",2],{"article:column:/column/llm-to-agent-learning/15":3},{"id":4,"title":5,"body":6,"description":453,"extension":454,"meta":455,"navigation":456,"path":457,"seo":458,"stem":459,"__hash__":460},"column/column/llm-to-agent-learning/15.md","15｜RLHF与DPO：人说“这个更好”，模型怎样学",{"type":7,"value":8,"toc":434},"minimark",[9,14,18,21,24,28,38,41,44,47,51,54,57,60,68,71,75,78,86,89,92,100,103,106,113,116,120,123,126,129,132,135,138,185,188,195,203,206,209,212,215,221,224,227,230,234,237,240,248,251,254,257,260,263,269,272,276,284,287,294,298,306,309,312,315,318,321,325,331,334,339,342,347,350,355,358,361,366,369,374,377,382,385,390,393,396,401,404,409,412,417,420,425,428,431],[10,11,13],"h2",{"id":12},"_1有两份都像答案怎样告诉模型哪份更好","1．有两份都像答案，怎样告诉模型哪份更好",[15,16,17],"p",{},"同一条通知写着“周五15点开会”，地点没有提供。回答甲是“时间：周五15点；地点：未提供”；回答乙是“周五15点在A会议室开会，请提前到场”。乙更流畅、更热情，也添加了原文没有的信息。",[15,19,20],{},"SFT可以把甲当示范，让模型模仿。但有些任务很难写出唯一标准答案：解释可以简洁也可以详细，摘要可以有多种措辞。相比从头写出完美回答，人有时更容易比较两个现成回答，并指出哪一个更符合规则。",[15,22,23],{},"偏好训练把这种比较转成参数更新。本章区分两条路径：经典RLHF先学习一个奖励模型，再用强化学习优化回答模型；DPO直接从偏好对构造损失。RLHF中的HF指人类反馈，RL指强化学习；人通常提供示范与比较，不必坐在旁边逐个token打分。它们都需要数据与评测，上一章的LoRA则可以作为参数更新方式，和学习目标属于不同层次。",[10,25,27],{"id":26},"_2偏好对到底提供了什么信息","2．偏好对到底提供了什么信息",[15,29,30,31],{},"一条偏好记录通常包含同一个请求prompt、较优回答chosen、较差回答rejected。可简写为x、y+、y−。加减号只表示这一次比较的胜负，不表示答案绝对正确或绝对错误。",[32,33,37],"a",{"href":34,"rel":35},"https://huggingface.co/docs/trl/dataset_formats",[36],"nofollow","TRL偏好数据格式",[15,39,40],{},"前面的甲胜过乙，应当因为“忠实原文、缺失地点不补造”，而不是因为甲更短。可以再造一对：两份摘要都完整准确，只是一份极其冗长。在请求明确要求简洁时，较短者才有额外优势。若训练数据中短答案总赢，模型可能把长度当成捷径。",[15,42,43],{},"同样，chosen也可能只是两个差答案里稍好的一份。两者若都遗漏关键时间，排名不会自动补出一个完整答案。出现平局、评价者分歧或互相冲突的标准时，应记录并处理，不能随手强选一个赢家制造确定性。",[15,45,46],{},"可以做一个纸笔实验：写四对通知摘要，让准确且简短、准确且较长的回答分别获胜一次，再加入两对包含遗漏或编造的回答。每次先写评价理由，再写胜负。如果移除“是否忠实原文”这个标准，排名大幅改变，你就看到了标签如何受规则控制。仅保存胜负而丢失标注规范，后来很难判断模型究竟在向什么方向优化。",[10,48,50],{"id":49},"_3经典rlhf先把比较训练成评分器","3．经典RLHF：先把比较训练成评分器",[15,52,53],{},"经典路线通常先做SFT，得到能按任务要求回答的起点。RLHF中的“策略”并不是另一种神秘网络：对语言模型来说，它就是在当前上下文下如何给下一个token分配概率，进而决定整段回答怎样产生。",[15,55,56],{},"然后收集比较数据，并训练奖励模型。它读取请求和完整回答，输出一个分数r。奖励模型可以沿用语言模型的表示能力，再接一个输出单个分数的部分；用途变为评估候选，而不是直接向用户作答。",[15,58,59],{},"训练时希望较优回答分数高于较差回答。一种常见办法先算分差d＝r(x,y+)−r(x,y−)，再经sigmoid把它转成0到1之间的偏好拟合概率。这个函数可写成σ(d)＝1÷(1＋e的−d次方)，其中e是约等于2.718的固定数。用计算器可得：分差为0时得到0.5，分差为1时约得0.731。",[15,61,62,63],{},"已标注“y+胜出”，就用−ln σ(d)惩罚与标注不一致的预测。两边同分时损失约0.693，分差为1时约0.313。这里的训练目标是预测这类比较标签；r＝2既不是“答对两题”，也不是“有200%的把握”。",[32,64,67],{"href":65,"rel":66},"https://huggingface.co/docs/trl/reward_trainer",[36],"TRL奖励模型目标",[15,69,70],{},"把所有分数一起加10，差值不变，偏好概率也不变。这说明单看一个奖励分数的绝对大小常常没有意义。更重要的是：它在未见比较上能否排序，以及它学到的评分理由是否符合任务。",[10,72,74],{"id":73},"_4有了评分器再让策略尝试和更新","4．有了评分器，再让策略尝试和更新",[15,76,77],{},"接下来让当前策略面对请求，采样出新的回答；冻结的奖励模型给这些回答打分，训练程序据此更新策略。这个循环会不断产生新回答，而不只是重复模仿原来的chosen文本。",[15,79,80,81],{},"为什么不能把奖励模型的分数当普通标签，直接从文字一路反向传播？因为“抽出哪个token”是离散选择。常见策略优化方法会利用已采样回答的概率，估计哪些选择让结果比基准更好，从而调整它们的生成倾向。PPO是经典RLHF使用的方法之一，还限制每次更新过于激进。",[32,82,85],{"href":83,"rel":84},"https://openai.com/index/openai-baselines-ppo/",[36],"OpenAI的PPO说明",[15,87,88],{},"例如，在人工教学场景中，若某次回答得分0.9，而相应基准为0.6，那么超过基准的0.3提供正向学习信号；得分0.3则低于基准0.3。实际算法会估计这种相对表现，再通过生成概率建立更新目标。它不等于宣布高分回答中的每个词都正确，也不保证每次有限步更新都让所有高分回答概率上升。",[15,90,91],{},"但单纯追求高分，会鼓励策略寻找评分器的漏洞。因此常保留一个冻结的参考模型，通常取SFT起点。参考模型给出原来各种回答有多大概率，用来衡量策略偏离原分布的程度；它不是提供正确答案的知识库，也不是前面那个奖励模型。",[15,93,94,95],{},"一个常见目标是：提高平均奖励，同时减去β乘以KL偏离惩罚。KL比较两个概率分布；一致时为0，整体不同会产生代价。β控制这个代价有多重要。它约束输出分布，不是拿两份参数逐项相减，也不是硬性禁止任何新回答。",[32,96,99],{"href":97,"rel":98},"https://cdn.openai.com/papers/Training_language_models_to_follow_instructions_with_human_feedback.pdf",[36],"InstructGPT论文的训练目标",[15,101,102],{},"用只有两个结果的教学分布看，参考各给0.5，当前策略给0.8和0.2，KL为0.8×ln(0.8÷0.5)＋0.2×ln(0.2÷0.5)，约0.1927。无需背公式，只要看出改变分布有成本。约束太强可能难以改善，太弱可能放大奖励模型误差；保持接近也不会让参考模型原有错误自动消失。",[15,104,105],{},"PPO中用于控制一轮更新步幅的旧策略，与长期提供锚点的参考模型，是不同职责。即使初期来自同一个模型，也不应混成一件东西。经典流程在策略优化时固定奖励模型与参考模型，但现实训练可以重新收集偏好、重训评分器，不能把一张流程图当成所有系统的唯一配方。",[15,107,108],{},[109,110],"img",{"alt":111,"src":112},"15｜RLHF与DPO：人说“这个更好”，模型怎样学：图1","/collections-assets/llm-to-agent-learning/1a7647f25cb7fc7b2a82503ca49fae2ef28a0457fcad29773334bc8d52dcdbfe.png",[15,114,115],{},"图1｜SFT之后可走两条偏好学习路线。经典RLHF需要评分器和新采样；标准离线DPO用固定偏好对直接训练。图上的分叉表示替代路线，不表示先完成RLHF才能做DPO；两条路线的参考模型都提供固定概率锚点。",[10,117,119],{"id":118},"_5dpo怎样省去单独的奖励模型","5．DPO怎样省去单独的奖励模型",[15,121,122],{},"现在回到SFT起点，选择另一条路线。DPO不要求先完成上述奖励模型和PPO训练。它要解决的问题是：比较标签能否直接作用在回答概率上，省掉单独评分器？",[15,124,125],{},"先明确两个假设。第一，仍以“期望奖励－β×KL”为目标，参考策略固定，β＞0。第二，用第3节的sigmoid分差模型描述偏好。对同一请求x，若奖励函数r已给定，前一种目标对应的最优策略可以写成：",[15,127,128],{},"π*(y|x)＝π_ref(y|x)×exp(r(x,y)/β)÷Z(x)。",[15,130,131],{},"π*表示这个奖励目标的最优策略；Z(x)是把所有回答的未归一权重加起来的总数，让概率和回到1。奖励越高，参考概率被放大的倍数越大；β越大，放大越温和。这里假定参考策略在考虑的回答上有正概率，Z(x)有限，且奖励期望与KL都可定义。",[15,133,134],{},"为什么最优点不是把全部概率都给高奖励回答？先做一个只有两份候选的教学实验：参考概率各为0.5，奖励分别为1和0，β＝1。把第一份的概率记为p，第二份就是1−p；平均奖励因此等于p，目标值是p减去KL。p＝0.5时，KL＝0，目标为0.5000；代入上式得到p＝e/(e＋1)≈0.7311，此时KL≈0.1109，目标≈0.6201；把p推到1时，KL＝ln2≈0.6931，目标反而降到0.3069。最后一项按0×ln0的极限为0计算。",[15,136,137],{},"这三个点让我们看见：增加奖励的收益与偏离参考的代价一起决定折中。但检查三个点还不是一般证明，不能排除未检查的点更好。下面的短推导才解释指数形式为什么达到最大值。",[139,140,141,145,148,156,163,170,182],"details",{},[142,143,144],"summary",{},"选读：把目标改写成一个常数减去KL",[15,146,147],{},"固定请求x，先考虑有限个候选回答。π(y)是待选策略给回答y的概率，π_ref(y)是固定参考概率，r(y)是固定奖励；暂时省略共同的条件x。Σ_y表示对所有候选求和，ln是自然对数。我们要最大化：",[15,149,150,151,155],{},"J(π)＝Σ_y π(y)r(y)−βΣ_y π(y)ln",[152,153,154],"span",{},"π(y)/π_ref(y)","。",[15,157,158,159,162],{},"先按上面的指数公式构造一个合法分布π*，尚不假定它最优。取对数可得r(y)＝βln",[152,160,161],{},"π*(y)/π_ref(y)","＋βlnZ。把它代入J，利用Σ_y π(y)＝1，两项中相同的参考概率消去：",[15,164,165,166,169],{},"J(π)＝βlnZ−βΣ_y π(y)ln",[152,167,168],{},"π(y)/π*(y)","＝βlnZ−βKL(π‖π*)。",[15,171,172,173,176,177],{},"r、参考策略与β固定以后，Z也固定；KL非负，且两分布相同时为0。因此任何π的J都不超过βlnZ，而π＝π*恰好达到这个上界，最优性便得到了证明。两候选例里的上界是ln",[152,174,175],{},"(e＋1)/2","≈0.6201。",[32,178,181],{"href":179,"rel":180},"https://arxiv.org/html/2305.18290v3#A1.SS1",[36],"DPO原论文附录A.1",[15,183,184],{},"这个结论先在所有合法候选分布中求最优。真实神经网络的表达能力、有限偏好数据和优化过程可能限制它能达到的策略，不能把闭式解当成实际训练必然到达的结果。",[15,186,187],{},"对两边取对数、把奖励移到左边，就得到：",[15,189,190,191,194],{},"r(x,y)＝β×ln",[152,192,193],{},"π*(y|x)/π_ref(y|x)","＋β×ln Z(x)。",[15,196,197,198],{},"同一道请求里的chosen和rejected共享Z(x)，两份奖励相减时，最后一项正好抵消。剩下的是“两份回答各自相对参考改变多少”的差。再把这个差送入sigmoid，就得到一个直接由策略概率表达的偏好模型。",[32,199,202],{"href":200,"rel":201},"https://arxiv.org/html/2305.18290v3#S4",[36],"DPO原论文第4节，公式4—7",[15,204,205],{},"实际训练用可训练策略πθ代替这个表达式里的策略，拟合已有的比较标签。这是选择一种隐式奖励的参数化方式；不能把任意尚未训练好的πθ直接宣称为人类真实奖励的最优解。好处是整个偏好损失都能由策略对已知文本的概率计算，不必另建一个输出r的网络。",[15,207,208],{},"实际计算时，当前模型分别读取chosen与rejected的标准前缀，算出回答各token的条件概率。把概率连乘，得到给定请求时的回答概率；把对数概率相加，得到的则是这个概率的对数。请求负责提供条件；这里比较的不是请求本身被生成的概率。",[15,210,211],{},"参考模型也给同两份回答计算概率。标准离线DPO固定偏好数据与参考模型，直接前向计算损失、反向传播、更新策略；参考概率可以预先计算。它不需要另外训练一个显式奖励模型，也不需要在每次更新循环里重新采样文本。因此，“直接”仍是训练，不是把两个答案排序后存成检索表。",[15,213,214],{},"为看清依赖，先给一组完整的教学概率：当前策略的chosen、rejected、其他回答分别为0.30、0.05、0.65，参考分别为0.20、0.10、0.70。图2把计算依赖画开：同一份固定偏好对同时送入当前策略与参考模型，两边各产生chosen和rejected的对数概率。四个值相减后进入损失，梯度只更新当前策略。",[15,216,217],{},[109,218],{"alt":219,"src":220},"15｜RLHF与DPO：人说“这个更好”，模型怎样学：图2","/collections-assets/llm-to-agent-learning/9dff22d0bccf53bb17ef933f74e184bc405e7ade2c6d76d944adc3a8cbee6cb3.png",[15,222,223],{},"图2｜用候选甲的教学数值计算DPO：当前概率0.30/0.05，参考概率0.20/0.10，R＝3，β＝1时q＝0.75、损失约0.2877。参考分支提供常量；没有“当前策略输出喂给参考模型”的依赖箭头。",[15,225,226],{},"离线数据的覆盖也构成限制：如果训练对里从未出现含两场会议的通知，模型不会仅凭优化这些比较，就获得关于该情形的直接反馈。训练后生成的新答案可能落在旧数据少见的区域，因此仍要用新请求核查，必要时补充有依据的比较。",[15,228,229],{},"这个方法和KL有推导上的联系，却不意味着每一步都单独测量全体回答的KL并执行一个硬上限。不同损失变体、数据分布与实现都会改变效果。DPO也没有证明“只要偏好训练，所有任务都优于PPO”。",[10,231,233],{"id":232},"_6亲手算相对胜算而不只盯着chosen","6．亲手算相对胜算，而不只盯着chosen",[15,235,236],{},"把请求固定。假设参考模型给较优回答0.20、较差回答0.10，其余所有回答总共0.70。参考中的两者概率比是2。这里用很大的整句概率只是为了手算，真实长回答的概率通常小得多。",[15,238,239],{},"设当前策略的两者概率比，除以参考的概率比，结果叫R。即R＝［p(y+)÷p(y−)］÷［p_ref(y+)÷p_ref(y−)］。它衡量偏好的相对胜算比原来放大了多少。",[15,241,242,243],{},"标准DPO把β×ln R送入sigmoid，再对结果取负对数作为损失。β是目标中的权衡系数，不是学习率。为方便本次教学，取β＝1，这时偏好拟合概率q＝R÷(1＋R)，损失L＝−ln q；该取值不是训练建议。",[32,244,247],{"href":245,"rel":246},"https://huggingface.co/docs/trl/dpo_trainer",[36],"TRL的DPO损失公式",[15,249,250],{},"若当前策略等于参考，R＝1，q＝0.5，L约0.6931。候选分布甲给两份回答0.30和0.05，其余0.65，则概率比为6，R＝3，q＝0.75，L约0.2877。这个偏好对被拟合得更好了。",[15,252,253],{},"再看独立候选分布乙：较优回答0.10、较差回答0.01、其余0.89。较优回答的绝对概率从参考的0.20降到了0.10，但两者概率比升到10；R＝5，q约0.8333，L约0.1823，损失依然更低。",[15,255,256],{},"乙中rejected从0.10降到0.01，只剩原来的十分之一；chosen剩原来的一半，所以两者的相对胜算仍然上升。这里rejected指这次比较落败的回答，不是“拒绝回答”的同义词。",[15,258,259],{},"这不是声称某次实际梯度更新一定这样走，而是一个数学反例：偏好损失降低，并不逻辑保证chosen绝对概率每步上升。模型共享参数、其他训练对及更新步长，也会影响真实变化。q同样不是答案事实正确的概率。",[15,261,262],{},"反例也不表示chosen没有获得正向训练信号。对单个偏好对，DPO梯度包含提高chosen对数概率、降低rejected对数概率的两项；当前相对排序越不符合偏好，这一对的权重通常越大。实际更新修改的是共享参数，还要汇总其他样本，所以不能把这两项的方向当作每个绝对概率的逐步保证。",[15,264,265],{},[109,266],{"alt":267,"src":268},"15｜RLHF与DPO：人说“这个更好”，模型怎样学：图3","/collections-assets/llm-to-agent-learning/3599dad30fc443ebfd1fc4f357a8a29dc10bcb1fc4f11fde7e906dafa990b9ba.png",[15,270,271],{},"图3｜三行是三个独立的教学概率分布，参考始终相同。两个候选分布都降低了偏好损失，其中一个却降低了较优回答的绝对概率；它不是实际训练轨迹。",[10,273,275],{"id":274},"_7公开案例要读清实验范围","7．公开案例要读清实验范围",[15,277,278,279],{},"2022年的InstructGPT展示了示范SFT、比较数据训练奖励模型、PPO优化策略的实际路线。研究报告中，标注员在相应请求分布上更偏好13亿参数InstructGPT的输出，而不是1750亿参数GPT-3的输出。这说明训练目标与数据能显著影响可用性，不能外推成小模型在所有知识或推理任务上都更强。",[32,280,283],{"href":281,"rel":282},"https://openai.com/index/instruction-following/",[36],"OpenAI的InstructGPT说明",[15,285,286],{},"DPO原论文则给出无需显式奖励模型的路径，并在情感控制、摘要及对话等任务上进行实验。理解它的价值，应看减少了哪段训练流程、在什么评测下有效，不能把论文里的比较结果变成永久的算法排行榜。",[15,288,289,290],{},"截至2026年10月6日核对的TRL官方DPO文档，使用Qwen3-0.6B与UltraFeedback二元偏好数据作入门示例，也支持适配器训练。它证明这些概念有具体的数据字段与训练接口；不证明Qwen原始模型就用这份数据训练，更不证明所有偏好标签都来自真人。阅读数据卡、模型版本、评分来源及损失类型仍然必要。",[32,291,293],{"href":245,"rel":292},[36],"TRL当前DPO示例",[10,295,297],{"id":296},"_8模型可能学会讨好评分器","8．模型可能学会讨好评分器",[15,299,300,301],{},"奖励只是目标的代理。若评分器偏爱长答案，策略可能增加无用解释；若它偏爱肯定语气，模型可能把不确定的内容说得更坚定。继续优化代理分数，不保证真实质量一直提高，奖励过度优化是有公开研究的风险。",[32,302,305],{"href":303,"rel":304},"https://openai.com/index/scaling-laws-for-reward-model-overoptimization/",[36],"OpenAI奖励过度优化研究",[15,307,308],{},"DPO绕开了单独奖励模型，却没有绕开标注偏差。人可能漏看事实错误，也可能在礼貌与准确之间做错权衡。偏好训练不会自动获得外部证据、最新资料或一个可靠的真值检查器。",[15,310,311],{},"评价时应保留未见请求，用明确标准比较完整生成结果，分开看忠实性、事实正确性、格式与用户偏好。评审应尽量不知道答案来自哪个模型，调换展示顺序，并检查长度是否在主导胜负。由模型担任评审时，也需要抽查其错误。",[15,313,314],{},"从接口职责看，奖励模型回答“这份输出多受偏好”，参考模型回答“原分布多看好这份输出”，独立验收回答“真实需求有没有满足”。一个接口的数值改善，不会自动完成另一个接口的检查。软件工程里可以据此分开记录训练损失和验收结果：数学优化目标指导参数怎样变，产品验收用独立样本检查需求是否实现，二者不是同一层。微调改变的是许多输入上的输出倾向，不能像修改一条明确的程序分支那样，直接承诺某类新回答必然符合规则。",[15,316,317],{},"尤其别把训练中“偏好准确率”提高理解成全部回答更真实。在标准DPO日志中，它可能只表示那批已给定答案对中，chosen相对参考模型的隐式奖励更常高于rejected。部署时生成的是新文本，还需要独立检查。KL约束、SFT起点与高质量偏好数据各有帮助，仍不是安全和真实性的完整保证。",[10,319,320],{"id":320},"本章练习",[322,323,324],"h3",{"id":324},"题目",[15,326,327],{},[328,329,330],"strong",{},"问题1｜同分平移",[15,332,333],{},"奖励模型给两份回答的分数为2与1。两者都加10后，偏好拟合概率改变吗？单个分数2能否解释成事实正确率？",[15,335,336],{},[328,337,338],{},"问题2｜相对胜算怎样提高",[15,340,341],{},"参考分布的chosen、rejected、其他为0.20、0.10、0.70；候选乙为0.10、0.01、0.89。取β＝1，求R、q和损失L，并说明chosen绝对概率的变化。",[15,343,344],{},[328,345,346],{},"问题3｜两条路线与两个接口",[15,348,349],{},"一个SFT模型准备学习固定偏好对。使用标准离线DPO前必须先跑PPO吗？当前策略与参考模型如何读取数据、谁接受梯度更新？与经典RLHF中的奖励模型有何不同？",[15,351,352],{},[328,353,354],{},"问题4｜高奖励为什么不占全部概率",[15,356,357],{},"只考虑两份候选，固定参考各0.5、奖励1和0、β＝1。第一份概率为p时，平均奖励是多少？已知p≈0.731059时KL≈0.110944，p＝1时KL≈0.693147，比较两者“平均奖励−KL”的目标值，保留四位小数。仅比较这两个点能否证明全局最优？",[322,359,360],{"id":360},"思考提示",[15,362,363],{},[328,364,365],{},"提示1｜对应问题1",[15,367,368],{},"偏好模型使用分差；检查分差是否改变。",[15,370,371],{},[328,372,373],{},"提示2｜对应问题2",[15,375,376],{},"分别求两者概率比，再除以参考的比值；使用q＝R/(1＋R)。",[15,378,379],{},[328,380,381],{},"提示3｜对应问题3",[15,383,384],{},"回看图1的分叉与图2的并联输入，把概率接口与评分接口分开。",[15,386,387],{},[328,388,389],{},"提示4｜对应问题4",[15,391,392],{},"先按概率加权两个奖励，再扣除偏离成本；区分数值比较和覆盖所有合法分布的证明。",[322,394,395],{"id":395},"参考答案与解析",[15,397,398],{},[328,399,400],{},"答案1｜对应问题1",[15,402,403],{},"分差仍为1，sigmoid(1)约0.731，偏好拟合概率不变。分数2没有自动对应的正确率含义；该评分器拟合比较标签，还需独立事实检查。",[15,405,406],{},[328,407,408],{},"答案2｜对应问题2",[15,410,411],{},"参考比值为2，候选乙比值为10，所以R＝5，q＝5/6≈0.8333，L＝－ln(5/6)≈0.1823。chosen绝对概率从0.20降到0.10，但rejected按比例降得更多；这说明损失降低不要求chosen每次绝对上升。三项仍和为1。",[15,413,414],{},[328,415,416],{},"答案3｜对应问题3",[15,418,419],{},"不必先跑PPO。固定偏好对同时送入当前策略与参考模型，两边各算两份回答的对数概率；标准设置只更新当前策略，参考冻结，也可预计算。经典RLHF另外训练奖励模型输出分数，再通过采样与策略优化更新回答模型；奖励模型不是参考概率接口。",[15,421,422],{},[328,423,424],{},"答案4｜对应问题4",[15,426,427],{},"平均奖励为p×1＋(1−p)×0＝p。两个目标约为0.731059−0.110944≈0.6201、1−0.693147≈0.3069。全压在高奖励回答上增加了奖励，也付出更大的KL成本，所以此例反而较差。两点比较只支持这两个候选的排序；一般最优性由选读中的J＝βlnZ−βKL(π‖π*)及KL非负给出。",[10,429,430],{"id":430},"下一章",[15,432,433],{},"偏好适合表达“更清楚、更有帮助”，但数学题结果和程序测试有时可以直接检查。下一章沿着策略、采样、奖励与更新这条链路，看看把人类偏好换成可验证奖励后，分数怎样进入可优化的目标，又会在哪些地方教错模型。",{"title":435,"searchDepth":436,"depth":436,"links":437},"",3,[438,440,441,442,443,444,445,446,447,452],{"id":12,"depth":439,"text":13},2,{"id":26,"depth":439,"text":27},{"id":49,"depth":439,"text":50},{"id":73,"depth":439,"text":74},{"id":118,"depth":439,"text":119},{"id":232,"depth":439,"text":233},{"id":274,"depth":439,"text":275},{"id":296,"depth":439,"text":297},{"id":320,"depth":439,"text":320,"children":448},[449,450,451],{"id":324,"depth":436,"text":324},{"id":360,"depth":436,"text":360},{"id":395,"depth":436,"text":395},{"id":430,"depth":439,"text":430},"从信息表示和学习出发，用可核算的例子与白板图逐步理解大模型、后训练、推理和Agent系统。","md",{},true,"/column/llm-to-agent-learning/15",{"title":5,"description":453},"column/llm-to-agent-learning/15","SZiprXIIzkFzO5O11N6dLONc-kO9l71PoCLEiVm3nYE",1791935828763]