[{"data":1,"prerenderedAt":332},["ShallowReactive",2],{"article:column:/column/llm-to-agent-learning/22":3},{"id":4,"title":5,"body":6,"description":324,"extension":325,"meta":326,"navigation":327,"path":328,"seo":329,"stem":330,"__hash__":331},"column/column/llm-to-agent-learning/22.md","22｜幻觉、校准与拒答：流畅为什么不够",{"type":7,"value":8,"toc":307},"minimark",[9,13,16,21,24,27,30,33,36,39,43,46,49,52,62,65,69,72,75,83,86,99,102,105,112,115,118,121,124,127,130,133,136,140,143,146,149,152,158,161,169,172,176,184,187,190,193,196,200,203,206,209,212,215,218,222,228,231,236,239,244,247,250,255,258,263,266,271,274,277,282,285,290,293,298,301,304],[10,11,12],"p",{},"你请模型查一位研究者的论文。它给出作者、标题、年份和一条像真的链接，语气毫不犹豫；打开链接却没有这篇文章。最麻烦的地方不是它答错，而是它没有把“我知道”“我推测”和“我没有证据”分开。",[10,14,15],{},"本章要解决三个不同问题：错误从哪里来，模型说的把握有多可信，以及少回答一些问题究竟换来了什么。我们会用十条教学答案亲手分桶，再核对选择性回答的两个分母。先修只需理解生成概率、数据分布与上一章的核验问题。",[17,18,20],"h2",{"id":19},"_1先分清错在哪里再决定怎么补","1．先分清错在哪里，再决定怎么补",[10,22,23],{},"“幻觉”没有覆盖所有研究的唯一口径。本章指模型给出貌似可信、实际不正确或缺乏所需依据的内容。它不意味着模型真的产生了人的感知体验，也不意味着每次错误都是故意说谎。",[10,25,26],{},"第一类是知识缺口。某个事实太新、太少见，或者根本没有进入训练材料，模型仍按熟悉的语言形式续写。论文标题的句式学得很好，并不意味着它掌握了这个标题对应的真实论文。",[10,28,29],{},"第二类是证据缺口。用户问“我们这份合同的取消期限”，模型可能知道常见合同写法，却没有读到实际条款。即使猜中的日期恰好正确，也没有完成“依据这份合同回答”的任务。事实正确与证据充分是相关但不同的评价轴。",[10,31,32],{},"第三类是生成或推理出错。资料已写明周四，模型摘要成周五；表格数字都看见了，加总却算错；原文只说部分情况，它扩展为全部情况。增加更多资料未必能解决这些错误，甚至可能引入更多干扰。",[10,34,35],{},"第四类是任务本身不完整。题目问“他什么时候回来”，却没交代“他”是谁。此时补一个最常见的名字，并不比询问更聪明。系统应识别缺少的条件，让问题变得可回答。",[10,37,38],{},"这些类别可能重叠，但诊断有用：知识过时需要现行来源；证据没取到需要检索；计算失误需要可靠计算和核对；条件含糊需要澄清。不能把所有问题都交给“再想一遍”，更不能因为回答写得更长，就认定它已被核验。",[17,40,42],{"id":41},"_2下一token概率为何不是整段答案的正确率","2．下一token概率为何不是整段答案的正确率",[10,44,45],{},"第4章介绍的概率回答的是：在当前前缀下，下一个token多大可能出现。它学习的是数据中的语言规律，而“这句话是否真实”是另一个事件。高概率可以来自常见措辞、训练材料的重复，或者一个广泛流传的错误。",[10,47,48],{},"设模型很确定论文标题应以“Towards”开头，这不说明后面的论文确实存在。反过来，一个罕见但正确的专有名词，也可能得到较低的token概率。直接把若干token概率相乘，还会受到句子长短和写法影响，不能当成通用事实置信度。",[10,50,51],{},"模型输出“我有90%的把握”，同样是生成的文本。这个数可能携带有用信号，也可能受到提示格式、训练习惯和迎合倾向影响。只有把它和大量可判定的真实结果对照，才能知道90%有没有接近九成正确的含义。",[10,53,54,55],{},"关于模型自我评估的研究发现，部分设置下可以提取有用的正确性判断，但跨到新任务时校准会变差。这支持“可以研究和验证信号”，不支持“自报百分比天然可靠”。",[56,57,61],"a",{"href":58,"rel":59},"https://arxiv.org/abs/2207.05221",[60],"nofollow","语言模型自我评估研究",[10,63,64],{},"因此要明确置信度的对象：是最终答案完全正确的概率，某一个字段正确的概率，还是找到相关资料的概率？把“来源可信度90%”贴在整段结论上，会把尚未验证的推理步骤一起包进去。",[17,66,68],{"id":67},"_3校准说八成的那一组是否真的约八成正确","3．校准：说八成的那一组，是否真的约八成正确",[10,70,71],{},"校准是概率承诺与实际频率之间的关系。假如系统在许多相似条件下，对一批答案都给出80%的正确概率，那么这批答案中应大约有80%正确。它不是承诺每十条必定恰好八条正确，也不能告诉你其中哪一条会错。",[10,73,74],{},"准确率与校准并非同一个指标。一个系统每次都报60%，长期恰好答对60%，可以在整体上校准，却没有能力区分哪道题危险。另一个系统能把难题排在后面，但习惯把70%的实际正确率报成95%，排序有用，概率刻度却不可信。",[10,76,77,78],{},"神经网络校准研究常用“可靠性图”：横轴放平均预测把握，纵轴放实际正确率；落在对角线上表示两者相等。对角线下面是过度自信，上面是偏保守。相关研究也讨论用独立数据重新调整概率刻度，但分类任务的结论不能无条件搬到自由生成答案上。",[56,79,82],{"href":80,"rel":81},"https://arxiv.org/abs/1706.04599",[60],"神经网络校准原论文",[10,84,85],{},"下面只做教学演练。十道题都有事先确定的标准答案；先记录模型自报把握，再揭示判分。“对”记1，“错”记0，不给含糊答案随意加半分：",[87,88,89,93,96],"ul",{},[90,91,92],"li",{},"第1至4条：95%对、90%对、85%错、80%对",[90,94,95],{},"第5至8条：70%对、65%错、60%对、55%错",[90,97,98],{},"第9至10条：40%对、30%错",[10,100,101],{},"事先分成三个桶：低于50%，50%到不足80%，80%及以上。高把握桶有四条，平均把握是(95＋90＋85＋80)÷4＝87.5%，实际正确率是3÷4＝75%。两者差12.5个百分点，表现为过度自信。",[10,103,104],{},"中间桶也是四条，平均62.5%，实际2÷4＝50%，同样高估12.5个百分点。低把握桶有两条，平均35%，实际1÷2＝50%，则低估15个百分点。",[10,106,107],{},[108,109],"img",{"alt":110,"src":111},"22｜幻觉、校准与拒答：流畅为什么不够：图1","/collections-assets/llm-to-agent-learning/ed4f6bdf0ec50b096f47755bbbabf8761585a759562afdfe8786b343751edc80.png",[10,113,114],{},"图1｜十条答案的分桶与可靠性图。三个点分别为(35%，50%)、(62.5%，50%)、(87.5%，75%)；点旁保留样本数2、4、4，避免把小样本波动当成稳定规律。",[10,116,117],{},"十条合起来，平均把握67%，准确率60%，看起来只差7个百分点。但高估与低估会抵消。若把每个桶的差取绝对值，再按桶大小加权，得到0.4×12.5＋0.4×12.5＋0.2×15＝13个百分点。这是一种分桶校准误差的教学算法，分桶方式不同，数也可能不同。",[10,119,120],{},"不要从这十条推断某个真实模型“校准误差就是13%”。每桶只有两到四条，换一道题即可大幅改变结果。这个实验教你核对概率刻度，真正评价还需要更多独立样本、明确任务范围，以及没有拿测试答案反复调过的规则。",[10,122,123],{},"如果要修正概率刻度，应使用单独的校准数据。例如在一批开发样本里，原先报九成的答案长期只有七成正确，可以学习一个把分数映射得更保守的规则，再到从未参与调整的测试集检查。这通常不改变原答案本身，所以可能改善概率诚实度，却没有增加知识或纠正事实。",[10,125,126],{},"用一条具体映射辨认改了什么。假设某个开发阶段提出q＝0.8p＋0.05，p是原把握，q是新把握，两者都用0到1表示。原来95%、90%、85%、80%分别变为81%、77%、73%、69%；四条答案的文字和“对、对、错、对”标签一字未动。因为这条映射严格单调递增，原有高低排序保持不变；如果仍使用80%这个数值门槛，四条中却只剩原95%那条可以回答。",[10,128,129],{},"这只是演示“刻度变化如何影响决策”的合成规则，不是拿十条样本拟合出的可靠校准器，也没有证明它让校准改善。一般校准方法未必严格保持排序。即使排序不变，继续沿用旧数字门槛，也是在使用不同的回答策略。",[10,131,132],{},"可以把数据职责分成三步：校准数据用于学映射；开发数据用于根据弃答与错误代价选择门槛；最后的留出测试只用于评价已固定的方案。前两项也可共同构成一个开发阶段，但必须说明两项都看过那些数据，不能再称其为独立测试。这与分别测试一个评分器的数值刻度、一个门槛的决策行为相似：检查概率承诺，不会自动纠正答案内容。",[10,134,135],{},"还要检查大桶是否掩盖差异。同报80%的普通题可能九成正确，同报80%的罕见题却只有七成；混合后刚好八成，不代表两个场景都可靠。系统换了语言、用户群、检索资料或模型版本，原来的刻度也可能失效，需要重新验证。",[17,137,139],{"id":138},"_4允许不答以后两个分母必须分开","4．允许不答以后，两个分母必须分开",[10,141,142],{},"现在规定：只有自报把握至少80%才给出具体答案，其余暂不作答。这里的“拒答”更准确地说是弃答：因为证据或把握不足而暂停；它与涉及危险请求的安全拒绝不是同一回事。",[10,144,145],{},"十条中四条被回答，其中三条正确。覆盖率是回答数除以全部问题数，即4÷10＝40%；选择性准确率是答对数除以已回答数，即3÷4＝75%。一个分母是10，另一个是4。",[10,147,148],{},"如果写成“系统准确率75%，覆盖所有十道题”，就隐去了六道没回答的问题。相应地，选择性错误率是1÷4＝25%，而错误答案占所有问题的比例是1÷10＝10%。它们也不能互换。",[10,150,151],{},"将门槛提到90%，只剩前两条，覆盖率20%，选择性准确率100%。这个100%不代表系统已变成无所不知：它只答了两道题，另外八道还需要澄清、检索、人工处理或接受暂时无解。",[10,153,154],{},[108,155],{"alt":156,"src":157},"22｜幻觉、校准与拒答：流畅为什么不够：图2","/collections-assets/llm-to-agent-learning/de6c09645cc2f9cf84da911f233697bf49a03e2074208bd3042ba485c15af533.png",[10,159,160],{},"图2｜同一批十题按原始把握作答，实心圆为已答对，叉为已答错，空心圆为弃答。全部回答、80%、85%、90%门槛对应10答6对、4答3对、3答2对、2答2对；同一题始终在同一列，两个分母逐行可数。",[10,162,163,164],{},"再做一个反例：门槛从80%提到85%，会删掉第4条正确答案，留下三条中的两条正确，选择性准确率反而降到约66.7%。提高门槛一定减少或保持回答数，但若信心排序有误，不保证每一步都提高准确率。风险与覆盖率应在真实数据上共同测量。",[56,165,168],{"href":166,"rel":167},"https://arxiv.org/abs/1705.08500",[60],"选择性分类研究",[10,170,171],{},"即便排序很好，选择性回答也有代价。如果被弃答的主要是少数语言、冷门地区或复杂用户，就可能让整体数字改善，同时把困难集中留给某些人。需要按重要群体和题型分别检查覆盖率，而不只报告一个平均值。",[17,173,175],{"id":174},"_5真实案例为什么多答对一点也可能多错很多","5．真实案例：为什么“多答对一点”也可能多错很多",[10,177,178,179],{},"OpenAI关于幻觉的官方说明给出一个SimpleQA比较：在其引用的测试条件下，gpt-5-thinking-mini的正确、错误、弃答比例分别为22%、26%、52%；o4-mini则为24%、75%、1%。这些比例都以全部问题为分母，三项相加各为100%。",[56,180,183],{"href":181,"rel":182},"https://openai.com/index/why-language-models-hallucinate/",[60],"OpenAI：为什么语言模型会产生幻觉",[10,185,186],{},"如果只看正确率，24%略高于22%；加入另外两栏，就看见它同时给出了更多错误答案。这个案例不能证明某模型在所有任务上更好，也不能把这组历史测试数当成今天任意产品的表现。它说明报告奖励什么，会影响我们如何理解“进步”。",[10,188,189],{},"当答错与不答都记零分，猜一下仍有机会得分，评价就偏向猜测。改变评价方式，需要把正确、错误、弃答分开，或按实际后果设置收益。官方研究讨论的是这种激励与幻觉的关系，不是说一张排行榜直接在运行时控制模型。",[10,191,192],{},"回到教学任务，设答对得1分，答错损失4分，弃答得0分。如果正确概率确实是p，回答的平均收益是p×1＋(1−p)×(−4)＝5p−4。p表示正确的概率；1−p是错误概率。超过80%才有正收益，恰好80%则与弃答打平。",[10,194,195],{},"这个门槛来自我们人为规定的代价，不是普遍最佳设置。如果漏答也有严重后果，或者可以低成本请人核验，最优决策会变化。更关键的是，未经验证的自报80%不能直接代入，当作已经校准的真实概率。",[17,197,199],{"id":198},"_6不知道应该怎样变成有用的下一步","6．“不知道”应该怎样变成有用的下一步",[10,201,202],{},"好用的弃答应说明缺什么，并把能确认的部分保留下来。例如：“通知给出了周五15点，但没有地点；需要查看后续邮件。”这比把整条通知都丢弃有用，也比编一个会议室可靠。",[10,204,205],{},"可以将回答拆成可核查的主张，逐条连接证据。一个链接只能证明网页存在，未必支持紧邻的数字；来源写的是“预计”，回答不能改成“已完成”。引用检查要核对内容、适用对象、版本和时间，而不只是链接能否打开。",[10,207,208],{},"检索与工具能提供新证据，但也增加新的失败点：搜到旧规定、抽错表格行、计算工具接到错误输入，最后仍会得到流畅的错误。核验时应问“什么外部观察会推翻这条答案”，避免只让同一模型换句话重述自己的判断。",[10,210,211],{},"实际改进可分三层。数据层包含缺信息、冲突资料和应当澄清的示范；评价层分别统计错误与弃答，验证信心排序；系统层保留来源、使用可靠计算、对高后果动作设置独立检查。哪一层出问题，就优先修哪一层。",[10,213,214],{},"同时要测试过度拒答：答案已经明确写在资料里，系统却一直说不确定，同样会妨碍使用。可靠性的目标是把可回答的问题答好，把不可回答的边界说明白，并让后续处理有路可走。",[17,216,217],{"id":217},"本章练习",[219,220,221],"h3",{"id":221},"题目",[10,223,224],{},[225,226,227],"strong",{},"问题1｜重新检查校准的平均数",[10,229,230],{},"高、中、低三个桶分别有4、4、2条；平均把握为87.5%、62.5%、35%，实际正确率为75%、50%、50%。计算各桶绝对差、按样本数加权的误差，并解释为什么它不等于整体平均把握67%与正确率60%的差。",[10,232,233],{},[225,234,235],{},"问题2｜门槛改变了谁",[10,237,238],{},"图2中把门槛从80%提到85%，回答数、答对数、覆盖率、选择性准确率分别变为多少？为什么门槛提高后准确率反而下降？",[10,240,241],{},[225,242,243],{},"问题3｜按代价作决定",[10,245,246],{},"沿用答对＋1、答错−4、弃答0的收益。假设两个问题的正确概率已经可靠校准，分别为0.7和0.9。各自回答的期望收益是多少，应回答还是弃答？如果全部弃答，“已回答中的准确率”应记为什么？",[219,248,249],{"id":249},"思考提示",[10,251,252],{},[225,253,254],{},"提示1｜对应问题1",[10,256,257],{},"先在各桶内取绝对值，再加权。先把有正有负的差合起来，会发生什么？",[10,259,260],{},[225,261,262],{},"提示2｜对应问题2",[10,264,265],{},"找出被门槛排除的那一条，检查它原来是对还是错，再分别写清分母。",[10,267,268],{},[225,269,270],{},"提示3｜对应问题3",[10,272,273],{},"用5p−4与弃答的0比较。没有回答时，选择性准确率的分母是什么？",[219,275,276],{"id":276},"参考答案与解析",[10,278,279],{},[225,280,281],{},"答案1｜对应问题1",[10,283,284],{},"绝对差为12.5、12.5、15个百分点，加权为0.4×12.5＋0.4×12.5＋0.2×15＝13个百分点。整体差只有7个百分点，是因为低桶低估与另两桶高估相抵消。它们衡量的对象不同；这三个小桶仍不足以支持真实模型的稳定校准结论。",[10,286,287],{},[225,288,289],{},"答案2｜对应问题2",[10,291,292],{},"保留95%、90%、85%三条，其中两条对：回答数3、答对数2，覆盖率3÷10＝30%，选择性准确率2÷3≈66.7%。被删去的是80%且回答正确的第4条；门槛只按自报把握排序，没按真实标签排序，因此不保证每一步都提高已答准确率。",[10,294,295],{},[225,296,297],{},"答案3｜对应问题3",[10,299,300],{},"p＝0.7时收益为−0.5，按本题收益应弃答；p＝0.9时收益为0.5，应回答。若全部弃答，覆盖率为0，“已回答中的准确率”分母为0，应记为无定义，而非100%。这种选择依赖概率已校准及题设收益；不能把任意自报把握直接当成真实概率。",[17,302,303],{"id":303},"下一章",[10,305,306],{},"我们已经学会把“答得像真的”“自己有把握”“有证据支持”拆开。但即使指标名称正确，题目分布、采样预算和判分方法也能改变结论。下一章会拿两个同为70%的成绩，检查一个评测分数究竟能支持多大的判断。",{"title":308,"searchDepth":309,"depth":309,"links":310},"",3,[311,313,314,315,316,317,318,323],{"id":19,"depth":312,"text":20},2,{"id":41,"depth":312,"text":42},{"id":67,"depth":312,"text":68},{"id":138,"depth":312,"text":139},{"id":174,"depth":312,"text":175},{"id":198,"depth":312,"text":199},{"id":217,"depth":312,"text":217,"children":319},[320,321,322],{"id":221,"depth":309,"text":221},{"id":249,"depth":309,"text":249},{"id":276,"depth":309,"text":276},{"id":303,"depth":312,"text":303},"从信息表示和学习出发，用可核算的例子与白板图逐步理解大模型、后训练、推理和Agent系统。","md",{},true,"/column/llm-to-agent-learning/22",{"title":5,"description":324},"column/llm-to-agent-learning/22","detB9FNd_GW7laUqLMWtsLKS3IcypmbnswCAQ2M7Ex8",1791935828763]