[{"data":1,"prerenderedAt":392},["ShallowReactive",2],{"article:column:/column/llm-to-agent-learning/36":3},{"id":4,"title":5,"body":6,"description":384,"extension":385,"meta":386,"navigation":387,"path":388,"seo":389,"stem":390,"__hash__":391},"column/column/llm-to-agent-learning/36.md","36｜怎样读懂一份新模型报告，做出有依据的选择",{"type":7,"value":8,"toc":365},"minimark",[9,13,16,21,24,27,30,34,37,40,43,46,49,52,59,62,66,76,79,82,85,93,97,105,113,116,119,123,131,134,137,140,143,149,152,156,159,162,165,168,172,175,178,181,184,187,193,196,199,203,206,212,215,220,223,226,229,232,235,238,241,244,247,251,256,259,264,267,272,275,280,283,286,291,294,299,302,307,310,315,318,321,326,329,334,337,342,345,350,353,356,359,362],[10,11,12],"p",{},"一份发布说明可能同时写着“数千亿参数”“只激活一小部分”“推理能力提升”“支持工具”“有蒸馏版”。这些话都可能是真的，却不在同一层，也不能拼成“适合我的任务”的结论。",[10,14,15],{},"读完前35章，我们已经可以把报告拆开：模型怎样计算，训练怎样改变参数，运行时花了什么资源，外部系统补了哪些能力，最后用什么证据证明有效。本章用几份公开资料完成一次综合阅读。目的不是记住当前排名，而是形成以后换型号仍然能用的判断方法。",[17,18,20],"h2",{"id":19},"_1第一行先写清楚到底在比较什么","1．第一行先写清楚到底在比较什么",[10,22,23],{},"先记完整名称、版本或发布日期、资料日期、取得方式，再读分数。Qwen3是一组模型，不是一个固定大小的模型；DeepSeek-R1与其Distill学生不是同一份权重；某个聊天产品也不等于它调用的单个模型。",[10,25,26],{},"本章选取2025年初版Qwen3-235B-A22B、初代DeepSeek-R1、DeepSeek-R1-Distill-Qwen-32B，以及OpenAI o3的o3-2025-04-16快照作阅读样本。基础资料核对日期为2026-10-05，o3官方页面在2026-10-06再次核对。它们是可核查的代表，不构成最新型号榜单，也不表示此刻应部署它们。",[10,28,29],{},"版本不是附带小字。同一系列后续版本可能改变训练、模式、上下文或接口；不能把较新报告的某项成绩贴到旧权重上。开放权重也不意味着全部训练数据与过程都公开，仍要逐项查看许可证、配置、报告及能够复现的范围。",[17,31,33],{"id":32},"_2把一句宣传拆成四层事实","2．把一句宣传拆成四层事实",[10,35,36],{},"第一层是基座和架构：参数规模、稠密还是MoE、输入模态和上下文机制。它解释一次前向计算怎样组织，不直接决定模型是否会按用户要求回答。",[10,38,39],{},"第二层是参数怎样学来：预训练、SFT、强化学习和蒸馏。LoRA限定某些参数增量的表示方式，可以与SFT组合；蒸馏描述教师如何提供训练信号，不规定学生必须和教师同构。",[10,41,42],{},"第三层是这次运行的配置：思考预算、采样、量化表示、缓存和输出上限。模型参数可以不变，运行时间与答案仍会变化。量化也能进入训练方案，阅读部署说明时则重点检查权重存储、计算精度与支持的硬件。",[10,44,45],{},"第四层是外部系统：检索、工具、记忆、权限和恢复。接入搜索会改变可用证据，接入计算器会增加外部计算，但这些改变本身不等于重新训练底层参数。模型支持工具调用，也不能独自证明执行后的任务成功。",[10,47,48],{},"将这些层分开，才能追问增益来自哪里。例如一个方案换了模型、增加搜索、又把采样次数提高，整体成绩可能进步，却不能把全部进步归于新架构。要判断某项改动的作用，需要尽量只改这一项，其余条件保持一致。",[10,50,51],{},"图1把四层按“它改变什么”连接起来。图中的并列关系不是说技术只能属于一格，而是要求阅读时说清当前讨论的作用；例如量化也能参与训练，此处把它放在部署表示这一用途下。",[10,53,54],{},[55,56],"img",{"alt":57,"src":58},"36｜怎样读懂一份新模型报告，做出有依据的选择：图1","/collections-assets/llm-to-agent-learning/2ae2865d7b5af8b5c5616a35d1a652ef0f36bf9ca5a86e2b633b85d551f23f49.png",[10,60,61],{},"图1｜架构规定计算组织；训练改变参数；运行配置控制本次执行；外部系统改变证据、动作和边界。四者共同影响任务结果，但工具结果进入上下文不等于权重更新。箭头说明作用对象，不表示所有技术按这四步顺序执行。",[17,63,65],{"id":64},"_3读qwen3时先把参数和训练路线分开","3．读Qwen3时，先把参数和训练路线分开",[10,67,68,69],{},"Qwen3的初版技术报告同时给出稠密与MoE系列。所选Qwen3-235B-A22B为MoE，公开总参数235B，每个token约激活22B；B表示十亿。两个数字回答“模型共有多少参数”和“一次token计算使用其中多少”，不能互换。",[70,71,75],"a",{"href":72,"rel":73},"https://arxiv.org/html/2505.09388v1",[74],"nofollow","Qwen3技术报告v1",[10,77,78],{},"这可以接回第12章：稀疏路由减少每次参与的部分计算，却不等于只需要保存激活部分。不同token会使用不同专家，显存、通信、缓存和算力之间仍有取舍。",[10,80,81],{},"先做一笔简化资源账。设P是参数个数，b是每参数的存储位数；8位组成1字节。只算权重数值、不算附加信息时，理论存储字节数约为P×b/8。将235B按16位代入，得到235×10⁹×16/8＝470×10⁹字节，即十进制470GB。",[10,83,84],{},"若错把22B代入，会得到44GB，却漏掉未在当前token激活的其他参数。470GB也不是完整部署显存结论：实际精度、切分、量化元数据、KV缓存和运行开销都会改变资源需求。这里是在核对一笔假设下的权重账，没有声称某台设备能够运行。",[10,86,87,88],{},"Qwen团队的初版说明还区分大型模型的多阶段后训练与小模型的蒸馏路线，并介绍思考与非思考模式。读这些内容时，要把“训练得到某种行为”与“使用时分配多少思考预算”分别记录，不能因为一份回答更长，就推断权重当场更新了。",[70,89,92],{"href":90,"rel":91},"https://qwenlm.github.io/blog/qwen3/",[74],"Qwen3初版官方说明",[17,94,96],{"id":95},"_4读deepseek-r1时沿着模型来历画箭头","4．读DeepSeek-R1时，沿着模型来历画箭头",[10,98,99,100],{},"DeepSeek官方仓库说明，初代R1基于DeepSeek-V3-Base，公开规模为671B总参数、每token约37B激活。它还明确区分R1-Zero与R1：前者探索不以前置SFT起步的强化学习路线；R1则结合冷启动数据、SFT与RL阶段。不能把R1-Zero的训练描述直接当成R1的完整流程。",[70,101,104],{"href":102,"rel":103},"https://github.com/deepseek-ai/DeepSeek-R1",[74],"DeepSeek-R1官方仓库",[10,106,107,108],{},"接着看Distill-Qwen-32B。官方模型卡列出的学生基座是Qwen2.5-32B，通过R1生成的样本进行微调。于是知识传递路径是“R1生成样本→以这些样本训练Qwen基座→得到学生”，而不是从671B教师权重中切下32B。",[70,109,112],{"href":110,"rel":111},"https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B",[74],"Distill-Qwen-32B官方模型卡",[10,114,115],{},"学生是稠密模型，教师是MoE，并不矛盾。样本中的问题与回答为学生提供训练信号，不要求它复制教师的专家结构。学生可能继承教师的某些能力与错误，但不能由名称推断所有能力按比例保留。",[10,117,118],{},"还要分清蒸馏与量化。蒸馏在这里改变学生经过什么数据训练；量化改变权重数值怎样表示。一个蒸馏学生仍可另行量化；一个量化教师也不会因此自动成为蒸馏学生。看到文件大小变小，应先问究竟改了哪条路径。",[17,120,122],{"id":121},"_5闭源api资料能告诉我们什么","5．闭源API资料能告诉我们什么",[10,124,125,126],{},"以o3为历史阅读样本，其官方模型页提供o3-2025-04-16快照名、200,000 token上下文窗口、100,000最大输出token，以及函数调用、结构化输出等支持情况。该页在核对时已标示弃用状态，因此这里只研究怎样读取服务说明，不把它当作当前接口选型建议。",[70,127,130],{"href":128,"rel":129},"https://developers.openai.com/api/docs/models/o3",[74],"OpenAI o3官方模型页",[10,132,133],{},"页面没有公开足以填写总参数、激活参数、稠密或MoE、完整训练数据配方的资料，这些格子就写“未知”。不知道不等于零，也不代表差；它表示不能用这些内部属性支持结论。也不能根据响应速度、品牌或回答风格猜出架构。",[10,135,136],{},"上下文窗口是接口允许的容量边界，不是每个位置的信息都能同样可靠使用的证明。最大输出限制也不等于每次都会生成这么多内容，更不能忽略输入与输出共享上下文等约束。实际能力仍需任务测试。",[10,138,139],{},"对于API模型，我们可以依据已公开的输入输出、接口约束、版本与自有评测做选择；对于开放权重模型，还能进一步检查配置和部署行为。两种证据形态不同，应该分别标明可验证的部分，不把未知项偷偷补成完整技术故事。",[10,141,142],{},"四个样本都已介绍后，再读图2的同一组字段。它比较的是公开资料能告诉我们的结构和来历，不是四者在同一测试上的能力高低。",[10,144,145],{},[55,146],{"alt":147,"src":148},"36｜怎样读懂一份新模型报告，做出有依据的选择：图2","/collections-assets/llm-to-agent-learning/f3d7f3fb483ee65d94a61dbcaac290e9e0472695a4ff6f777012ee1c1699141e.png",[10,150,151],{},"图2｜四个历史样本分别标出结构、参数口径和使用形态；o3未公开的内部规模留为未知。下方蒸馏箭头传递的是R1生成样本，样本用于微调Qwen2.5-32B学生，而不是把教师MoE权重裁成32B。B表示十亿，32B是模型的名义规模。",[17,153,155],{"id":154},"_6读分数前先检查比较条件","6．读分数前，先检查比较条件",[10,157,158],{},"给每个结果写五个问题：题目来自哪里，使用哪个版本，允许哪些资料与工具，每题给多少尝试和预算，怎样评分。第23章已经解释的污染、抽样波动和评审偏差，在读报告时都要重新带上。",[10,160,161],{},"如果一个成绩来自多次采样后挑选，另一个只生成一次，差别可能包含搜索预算。若一方使用检索或执行测试，另一方不能用工具，比较的就不只是裸模型。条件不同的结果仍有参考价值，但需要明确它回答的是哪一种使用情景。",[10,163,164],{},"“在某数学题集上更高”也不能直接推到“能可靠修改活动信息”。后者还需要找对最新来源、对应目标对象、遵守权限并确认结果。模型测试可以帮我们筛选候选，系统评测才接近交付目标。",[10,166,167],{},"报告里的公开实验通常反映特定数据分布。选择前应先列出自己的常见任务与关键失败，再准备小而明确的留出题。例如海报助手至少需要新旧公告冲突、缺少地点、两个活动重名和操作回执丢失，而不能只测试最清楚的一张海报。",[17,169,171],{"id":170},"_7纸笔选择先过门槛再比较资源","7．纸笔选择：先过门槛，再比较资源",[10,173,174],{},"设两套虚构候选为甲、乙，它们不对应上面的任何真实模型。对同样100项任务，甲完成90项，总成本90单位，P95完成延迟8秒；乙完成94项，总成本141单位，P95完成延迟14秒。总成本已经包含失败尝试与重试。",[10,176,177],{},"成功率分别为90/100＝90%和94/100＝94%。每成功任务成本分别为90/90＝1，以及141/94＝1.5。乙多完成4项，同时总投入增加51单位；不能只说“提高4%”而忽略这是4个百分点的成功率差。",[10,179,180],{},"现在提前规定验收门槛：成功率至少90%，P95不超过10秒。甲通过，乙因延迟不通过。此时即使愿意多付成本，也没有解决用户需要及时完成的问题。",[10,182,183],{},"若任务换成允许慢一些但更严格的检查，门槛改为成功率至少93%、P95不超过15秒，结果反过来：乙通过，甲质量不够。选择随约束变化是合理的，不需要找一个所有任务上的永久冠军。",[10,185,186],{},"看图3时，先找满足两个门槛的交集，再比较通过者的成本。两幅图使用完全相同的甲乙数据，改变的只有事先约定的验收条件。",[10,188,189],{},[55,190],{"alt":191,"src":192},"36｜怎样读懂一份新模型报告，做出有依据的选择：图3","/collections-assets/llm-to-agent-learning/d9716a355aa9b4bc1a2e501b1baa437dfe191363cc69e6f09f7d27c22682301c.png",[10,194,195],{},"图3｜横轴为教学成功率，纵轴为P95秒数，斜线区域是同时通过两个门槛的交集。甲始终位于（90%，8秒），乙始终位于（94%，14秒）；场景一只通过甲，场景二只通过乙。点位置没有因结论改变而移动，甲乙不对应图2的真实模型。",[10,197,198],{},"这些仍只是纸笔例子。实际100题得到的90%与94%有抽样不确定性，还要查看同一批题上谁改对、谁改错，复测波动，并分组检查关键任务。不能因为差4项，就断言任何未来任务都固定提升4个百分点。",[17,200,202],{"id":201},"_8把事实估算与测试写成决策记录","8．把事实、估算与测试写成决策记录",[10,204,205],{},"一份选择理由应让别人知道：哪些条件改变后，结论就必须重算。软件工程里的架构决策记录也做这件事，留下目标、候选、证据和取舍，而不是只留下“选甲”。下面分别写两种记录，避免把公开报告与教学测试混成同一条证据。",[10,207,208],{},[209,210,211],"strong",{},"记录A｜这条公开规格支持什么资源结论",[10,213,214],{},"目标：理解Qwen3-235B-A22B的权重规模，不决定部署。事实：初版报告给出235B总参数、每token约22B激活。假设：全部权重数值按16位存储，1GB按10⁹字节，暂不计任何附加开销。计算：235×10⁹×16/8＝470GB；这里没有做运行测试。结论：该假设下只算权重数值约470GB，不能用22B算成44GB来代替。未知：具体运行精度、缓存、分片、硬件和吞吐未测，不能据此断言一套部署可行。",[10,216,217],{},[209,218,219],{},"记录B｜一份完整的教学选择记录",[10,221,222],{},"目标：只读核对海报，要求及时返回带来源的结论。候选：虚构方案甲r1和乙r1，版本标签只用于固定比较对象，与任何公开型号无对应关系。",[10,224,225],{},"事实：这里没有关于真实模型优劣的新事实。第7节给出的是人为设定的同题账本，甲90/100、成本90、P95为8秒；乙94/100、成本141、P95为14秒。数字的证据身份是教学输入，不是公开报告分数，也不是本课程运行所得。",[10,227,228],{},"假设：100题代表我们准备比较的任务；两者使用相同输入、评分、允许工具与预算上限；全部尝试费用已计入成本，延迟从接收任务到取得规定证据计算。上限一致不要求实际耗用相同，所以两者成本可以不同。",[10,230,231],{},"测试：在真实决策里应将上述条件固定后，逐题记录成功、失败、费用、延迟和副作用。本纸笔例只演算给定账本，得到甲每成功成本1、乙1.5，并按预定的“成功率至少90%、P95至多10秒”筛选。",[10,233,234],{},"结论：在这份教学账本和第一套门槛下，甲通过，乙因延迟不通过；这只支持选甲进入后续核验，不能写成“甲模型普遍更强”。若改为第二套门槛，则乙通过、甲不通过，应记录需求变化并重新做选择。",[10,236,237],{},"未知：样本是否代表未来任务、差异是否稳定、关键失败是否可接受、实际费用是否随负载变化，都尚未验证。没有这些证据，不能从纸笔结果直接作生产采用结论。若为真实项目，记录旁还要附上数据集版本、运行追踪与评分依据，便于他人复核。",[10,239,240],{},"这两份记录把公开规格、估算和端到端表现分开。470GB不能代替测试成绩，94%也不能反推出模型内部参数。面对闭源资料的空格，填“未知”比根据榜单补一个猜测更有价值。",[10,242,243],{},"也不要把所有失败都归结为模型不够大。缺现行资料应检查检索；误改对象应检查匹配、参数与权限；格式不稳可以比较约束和提示。若改变多个环节才取得进步，就记录为整个方案的进步；要把因果归给某个环节，还需要尽量只改这一项的对照证据。",[17,245,246],{"id":246},"本章练习",[248,249,250],"h3",{"id":250},"题目",[10,252,253],{},[209,254,255],{},"问题1｜算的是哪一份参数",[10,257,258],{},"Qwen3-235B-A22B公开总参数235B、每token约激活22B。假设所有权重数值均按16位保存，求十进制GB；解释这个数为何不是完整部署显存，也不能用22B代替。",[10,260,261],{},[209,262,263],{},"问题2｜沿蒸馏箭头找信号",[10,265,266],{},"用一句完整的话写出初代R1到R1-Distill-Qwen-32B的训练信号路径。教师与学生的结构是否必须相同？这条路径与量化有什么区别？",[10,268,269],{},[209,270,271],{},"问题3｜把未知留在正确位置",[10,273,274],{},"一份闭源API说明列出了上下文窗口、快照名和工具调用支持，却未公开参数量与稠密/MoE结构。写出两项可据此记录的事实、两项应保留的未知，以及一种后续评价方法。",[10,276,277],{},[209,278,279],{},"问题4｜写出带条件的结论",[10,281,282],{},"仍用甲90%、成本90、P95为8秒，乙94%、成本141、P95为14秒，均为100题的教学账本。先求每成功成本，再分别按两套门槛选择：一是至少90%且不超10秒，二是至少93%且不超15秒。最后用“结论＋未知”两句话说明选择能支持到哪里。",[248,284,285],{"id":285},"思考提示",[10,287,288],{},[209,289,290],{},"提示1｜对应问题1",[10,292,293],{},"先找需要保存的对象，再从位换成字节；把数值假设与实测资源分开。",[10,295,296],{},[209,297,298],{},"提示2｜对应问题2",[10,300,301],{},"分别说明教师产生什么、学生从哪份基座开始、实际改了谁的参数。",[10,303,304],{},[209,305,306],{},"提示3｜对应问题3",[10,308,309],{},"公开接口规格与内部实现是不同证据；选择方法应落在可观察结果上。",[10,311,312],{},[209,313,314],{},"提示4｜对应问题4",[10,316,317],{},"先筛满足全部硬条件的候选，再比较资源；标出教学数字身份。",[248,319,320],{"id":320},"参考答案与解析",[10,322,323],{},[209,324,325],{},"答案1｜对应问题1",[10,327,328],{},"权重数值为235×10⁹×16/8＝470×10⁹字节，即470GB。22B是当前token参与计算的激活规模，其他专家参数仍属于模型，不能因此省略。470GB未计KV缓存、元数据、临时对象和运行开销，也未验证实际精度、切分与硬件，是估算而非部署显存实测。",[10,330,331],{},[209,332,333],{},"答案2｜对应问题2",[10,335,336],{},"R1生成训练样本，用这些样本微调Qwen2.5-32B基座，得到Distill-Qwen-32B学生。教师MoE与学生稠密结构不必相同，传递的是样本信号，不是剪切教师权重。量化改变数值表示精度，蒸馏改变学生的训练信号；学生还可以另行量化。",[10,338,339],{},[209,340,341],{},"答案3｜对应问题3",[10,343,344],{},"可记录准确快照名、上下文容量或工具调用支持中的任意两项；参数量、稠密/MoE结构应留为未知。可在固定版本、相同工具与预算条件下，用任务留出集测试质量、成本、延迟和失败类型。不能从榜单分数或响应速度唯一反推内部结构。",[10,346,347],{},[209,348,349],{},"答案4｜对应问题4",[10,351,352],{},"甲成本90/90＝1，乙141/94＝1.5。第一套仅甲通过，乙14秒超过10秒；第二套仅乙通过，甲90%低于93%。可写：“在这份虚构同题账本和第一套门槛下，甲通过，换第二套则乙通过。结果稳定性、样本代表性及关键失败仍未知，尚不支持任何真实模型普遍更强或可直接采用。”等义且保留条件与未知的表达均可。",[17,354,355],{"id":355},"接下来的实践",[10,357,358],{},"36章连成了一条知识路径：文字进入表示，参数通过训练改变，模型在上下文中生成，系统再接上资料、工具和权限，最后用任务结果来检验。以后遇到新名字，先判断它改变这条路径的哪一段，再找与该段对应的证据。",[10,360,361],{},"后续实践要检验的，是能否在具体输入输出中认出这些关系：请求与响应是否对应，状态怎样延续，检索补了什么证据，工具执行留下了什么回执，成本和延迟用了什么口径。训练实验则要分清训练目标、可更新参数以及独立验证的职责。这些是下一阶段的学习目标，本章没有执行调用、训练或部署。",[10,363,364],{},"理论学习到这里，不以拥有密钥或算力为完成标准。能够把技术说法拆成可追问的问题，把数字放回条件，并区分事实、假设、测试、结论与未知，才是这36章希望留下的能力。",{"title":366,"searchDepth":367,"depth":367,"links":368},"",3,[369,371,372,373,374,375,376,377,378,383],{"id":19,"depth":370,"text":20},2,{"id":32,"depth":370,"text":33},{"id":64,"depth":370,"text":65},{"id":95,"depth":370,"text":96},{"id":121,"depth":370,"text":122},{"id":154,"depth":370,"text":155},{"id":170,"depth":370,"text":171},{"id":201,"depth":370,"text":202},{"id":246,"depth":370,"text":246,"children":379},[380,381,382],{"id":250,"depth":367,"text":250},{"id":285,"depth":367,"text":285},{"id":320,"depth":367,"text":320},{"id":355,"depth":370,"text":355},"从信息表示和学习出发，用可核算的例子与白板图逐步理解大模型、后训练、推理和Agent系统。","md",{},true,"/column/llm-to-agent-learning/36",{"title":5,"description":384},"column/llm-to-agent-learning/36","h7efgXW21jSboTj2WUIqAF-dLYRXombtwtxP1md9SWM",1791935828961]