[{"data":1,"prerenderedAt":343},["ShallowReactive",2],{"article:column:/column/math-beauty/loss-functions":3},{"id":4,"title":5,"body":6,"description":12,"extension":332,"meta":333,"navigation":338,"path":339,"seo":340,"stem":341,"__hash__":342},"column/column/math-beauty/loss-functions.md","模型错了多少，能用一个数说清吗",{"type":7,"value":8,"toc":319},"minimark",[9,13,16,19,23,26,29,32,35,38,41,44,47,50,53,60,63,66,69,73,76,79,82,85,88,91,94,98,101,104,107,110,113,116,119,122,125,128,131,134,140,143,146,149,152,155,158,161,164,167,170,173,176,179,182,185,188,191,194,197,200,203,206,212,215,218,221,224,227,230,234,237,240,243,246,249,255,258,261,264,269,272,275,278,281,292,301,310,313,316],[10,11,12],"p",{},"先修：12 数据与损失；17 最小二乘投影；21 期望；22 独立样本的平均规律；23 可信评估；27—28 对数损失与条件预测",[10,14,15],{},"第17章已经为一条直线找到了全局最优的证明；第27—28章又把概率预测写成了对数损失。两种问题都出现了一个动作：调整模型，让某个数尽量小。",[10,17,18],{},"但在开始调整之前，那个数究竟是谁定的？把三次偏差加成一个分数，会保留什么，又会省略什么？进入变化与优化这一部，我们先把这件事说完整。目标写清以后，才轮到怎样高效地接近它。",[20,21,22],"h2",{"id":22},"先把任务写进算式",[10,24,25],{},"回到第12章的虚构玩具：已知滑杆位置x，预测指针读数y，两者都以厘米计。三条教学记录仍是(0,1)、(1,2)、(2,2)，不是真实测量。模型也不变：",[10,27,28],{},"fθ(x)＝ax＋b，θ＝(a,b)。",[10,30,31],{},"fθ表示“参数选为θ时的那条预测规则”。数据固定以后，要调的是a、b；不能为了压低分数，顺手修改观测值y。我们也只在这一族直线中选择，并没有允许每个点各用一套参数。",[10,33,34],{},"下一步，给一次预测定义损失。选平方损失时，",[10,36,37],{},"ℓ(y，ŷ)＝(y−ŷ)²。",[10,39,40],{},"ℓ是一个规则：输入真实读数与预测读数，输出非负的单次费用。例如用候选C：a＝1/2、b＝7/6，在中间点x＝1预测5/3厘米，而观测为2厘米。这次残差是1/3厘米，单次损失便是1/9平方厘米。",[10,42,43],{},"把三次损失相加，才得到关于参数的整体目标：",[10,45,46],{},"L(a,b)＝Σᵢ₌₁³ℓ(yᵢ，axᵢ＋b)",[10,48,49],{},"＝(1−b)²＋(2−a−b)²＋(2−2a−b)²。",[10,51,52],{},"这就是SSE。单次损失ℓ回答“这一次怎样计分”，目标函数L回答“这批记录怎样合计”。有时两者都被简称为损失函数，读公式时要看清求和有没有发生。",[10,54,55],{},[56,57],"img",{"alt":58,"src":59},"从给定滑杆位置预测读数的任务，经过固定样本、直线模型、单次平方损失，汇总成目标L，再在允许参数中求最小","/collections-assets/math-beauty/ch29/01-loss-calculation-chain.png",[10,61,62],{},"图1：实线串起本章的计算过程；任务要求还要决定采用什么损失与权重。图中的数值来自候选C的一次预测，不能直接当成整批分数。",[10,64,65],{},"合计也会丢掉信息。两组残差可以得到同一个平方和，却把偏差集中在不同位置；总分相同，并不表示每个位置都同样准确。为了找参数，我们暂时采用一个共同的比较数；为了理解模型哪里出了问题，仍应保留逐条残差和输入位置。把它们汇成一个数，不必同时把原记录扔掉。",[10,67,68],{},"如果取平均，得到MSE＝L/3。一般在固定的同一批n条记录上，MSE＝SSE/n，n>0，因此两者给出的参数排序、最优参数完全一样。C的SSE为1/6，MSE为1/18，单位都为平方厘米。它们只是总和与平均的区别；换了样本数量或内容，不能再凭这句比例关系断言分数可直接比较。",[20,70,72],{"id":71},"求最小还需要说明在哪里找","“求最小”还需要说明在哪里找",[10,74,75],{},"现在把任务正式写成一个优化问题：[1]",[10,77,78],{},"在(a,b)∈R²中，最小化L(a,b)。",[10,80,81],{},"R²在这里表示a、b都可以取任意实数。若把允许的参数集合记为Θ，通用写法是",[10,83,84],{},"θ*∈argmin₍θ∈Θ₎ L(θ)。",[10,86,87],{},"argmin收集使目标达到最小的参数，min给出的则是最小目标值。对当前问题，第17章已经证明：θ*＝(1/2,7/6)，而min L＝1/6平方厘米。参数答案与分数答案，不能混为一谈。一般问题也可能有多个最优参数，或根本无法达到最小值；写出符号不等于已经证明答案存在。",[10,89,90],{},"假如玩具的使用要求另有依据，规定斜率和截距都不能为负，就把Θ改成{(a,b)：a≥0，b≥0}。这叫可行集合，约束负责排除不允许的候选，损失负责比较留下的候选。仅有“a、b非负”并不能告诉我们哪一条线更好。",[10,92,93],{},"本例的C满足这两个约束，所以原来的最优答案仍可保留。但由此得到的结论始终是：在选定集合里，按选定目标，这条线最优。一个低分无法反过来证明，真实玩具就应当用直线描述，或者平方惩罚就代表使用者的实际需要。",[20,95,97],{"id":96},"同样三次偏差换权重就会换选择","同样三次偏差，换权重就会换选择",[10,99,100],{},"第12章已经看到，换一种损失会改变偏好。现在连单次平方损失都不换，只改变各次记录的权重。",[10,102,103],{},"假设我们明确约定：中间位置的平方偏差，按两倍费用计；两端各按一倍。这是新的计分要求，不是从三条数据里发现的自然规律。相应目标为",[10,105,106],{},"Lw(a,b)＝(1−b)²＋2(2−a−b)²＋(2−2a−b)²。",[10,108,109],{},"一般的加权平方和写成Σᵢwᵢ(yᵢ−fθ(xᵢ))²；权重决定各项如何参与合计。[2] 本例w＝(1,2,1)没有单位，故Lw仍以平方厘米计。",[10,111,112],{},"拿C与第12章练习中的D比较。D保持a＝1/2，把b改为5/4。两者残差依次为",[10,114,115],{},"C：(−1/6，1/3，−1/6)厘米；",[10,117,118],{},"D：(−1/4，1/4，−1/4)厘米。",[10,120,121],{},"等权时，C的平方和为1/36＋1/9＋1/36＝1/6；D为1/16＋1/16＋1/16＝3/16。因为1/6\u003C3/16，C胜出。",[10,123,124],{},"中点加倍后，必须重新逐项结算：",[10,126,127],{},"Lw(C)＝1/36＋2×1/9＋1/36＝5/18；",[10,129,130],{},"Lw(D)＝1/16＋2×1/16＋1/16＝1/4。",[10,132,133],{},"于是5/18>1/4，排序反过来了。D牺牲了一些两端表现，把中间残差从1/3降到1/4；中点更贵时，这笔交换就变得划算。",[10,135,136],{},[56,137],{"alt":138,"src":139},"C与D的每项平方残差在等权和中点加倍两种目标下合计，等权C为六分之一小于D的十六分之三，加权C为十八分之五大于D的四分之一","/collections-assets/math-beauty/ch29/02-weights-reverse-ranking.png",[10,141,142],{},"图2：四条堆叠条使用同一长度尺度，三个色块依次对应x＝0、1、2；第二组只把中间色块的贡献翻倍。两组目标分别排序，不能跨组直接比较谁的任务表现更好。",[10,144,145],{},"这次翻转说明，权重是问题的一部分。应先根据使用需要交代理由，再比较候选；如果只是看到谁赢，就反复调权重直到喜欢的模型胜出，那是在改变题目，不能当成该模型天然更好的证据。",[10,147,148],{},"到这里，我们证明了D在新目标下胜过C，还没有仅凭这场比较证明D胜过所有斜率与截距。可以再做一个范围明确的小证明：固定a＝1/2，只允许上下平移。",[10,150,151],{},"Lw(1/2,b)＝(1−b)²＋2(1.5−b)²＋(1−b)²",[10,153,154],{},"＝2(1−b)²＋2(1.5−b)²",[10,156,157],{},"＝4(b−1.25)²＋0.25。",[10,159,160],{},"最后一步只是展开、合并，再配成平方。平方项非负，且只在b＝1.25时为0，所以D确实是这个固定斜率子问题的唯一最优解，最小值为0.25平方厘米。这个证明没有检查改变a的候选，结论的范围也就止于这里。",[20,162,163],{"id":163},"一个数的标尺与含义都要交代",[10,165,166],{},"本章用非负权重：wᵢ≥0。某项权重为0，表示它不影响这个目标；这不代表对应观测已被证明无用。若权重全为0，所有参数的加权平方和都为0，目标不再提供任何区分信息。负权重则可能奖励更大的偏差，不符合这里“累计错误代价”的约定。",[10,168,169],{},"若把全部权重乘同一个正常数c，新目标就是cLw。任何两组参数的大小关系不变，最优集合也不变；但同一次参数改动造成的目标差值会乘c。最优位置相同，不等于目标的变化尺度相同，后面讨论调整方法时还会回来处理这一点。",[10,171,172],{},"当权重和大于0时，也可除以Σᵢwᵢ得到加权平均。分母固定且为正，仍不改变当前问题的最优者。要说“平均”时必须注明分母，不能把除以样本数与除以权重和混用。",[10,174,175],{},"权重的解释也不能只写“重要性”。它可能表达某些使用位置更值得照顾，也可能用于处理不同测量精度；这两种理由需要不同依据，不能随意互换。本例只约定前一种计分偏好，并未证明中间读数更可靠。",[10,177,178],{},"单位会提醒我们自己究竟在算什么。绝对误差平均以厘米计，平方误差平均以平方厘米计；取平方根才得到以厘米计的RMSE。第27章的有限分类概率预测则可用ℓ(y,q)＝−log₂q(y)，对实际结果要求q(y)>0以得到有限值，费用以位计。平方损失衡量数值偏差，对数损失评价给实际类别分配的概率；不能因为0.1小于0.2，就把两个不同目标下的数拿来排模型高下。",[10,180,181],{},"即使仍用平方损失，单位变化也会改分数：把输出读数与预测同时从厘米换成毫米，数值残差乘10，平方目标乘100。模型描述的物理预测未变。因此报告结果时，目标定义、单位、样本范围与汇总方式，都属于分数不可省略的说明。",[10,183,184],{},"若还想把预测误差、等待秒数和误判费用合成一个总分，必须明确换算系数与取舍依据。把单位调成一致，只解决能否相加，没有证明这种交换公平或合适。允许等待多久、哪类错误不能接受，往往需要单列要求，不能指望一个数字自动替人作出决定。",[20,186,187],{"id":187},"样本上的目标与未来的期望",[10,189,190],{},"把平方损失换成一般的ℓ，在n条记录上取平均，就得到经验风险：[3]",[10,192,193],{},"Rₙ(θ)＝(1/n)Σᵢ₌₁ⁿℓ(yᵢ，fθ(xᵢ))。",[10,195,196],{},"这里n>0，“经验”指眼前这批已记录的数据。寻找使Rₙ最小的模型，叫经验风险最小化。我们的三点例中，R₃就是MSE；它和L描述同一批记录，但采用平均的尺度。",[10,198,199],{},"实际使用时，我们通常还关心未来。若用P表示目标使用情景中输入X与结果Y的联合分布，相应的期望风险是",[10,201,202],{},"R(θ)＝E₍X,Y₎∼P[ℓ(Y，fθ(X))]。",[10,204,205],{},"Rₙ逐项使用手里的记录，R对目标分布中可能遇到的情形求期望。这里的P需要由任务说明，通常并不完全已知。三条虚构读数没有附带抽样模型，不能据此把经验平均宣布为真实玩具的未来平均。",[10,207,208],{},[56,209],{"alt":210,"src":211},"左边固定样本对应经验平均Rn，右边目标分布P对应未来期望R；二者之间需要抽样与评估依据，不能由低训练分数直接画等号","/collections-assets/math-beauty/ch29/03-empirical-versus-expected.png",[10,213,214],{},"图3：左侧求和遍历已见记录，右侧期望遍历目标分布。连接两边的是需要检查的假设与证据；图中没有把一次训练结果当成未来保证。",[10,216,217],{},"例如，先在第19—22章的有限概率模型内考虑事先固定的模型。若记录独立同分布地来自P，且各情形的损失都是有限值，单次损失就有有限方差，记为σ²。沿用第21—22章的计算，E[Rₙ(θ)]＝R(θ)，独立性给出Var(Rₙ(θ))＝σ²/n；再把第22章的非负变量取成[Rₙ(θ)−R(θ)]²，便得到对任意ε>0的界：",[10,219,220],{},"P(|Rₙ(θ)−R(θ)|≥ε)≤σ²/(nε²)。",[10,222,223],{},"这个上界随n增大而趋于0，说明在这些条件下，样本平均能以越来越高的概率接近期望。本段只用前文已建立的有限模型论证，不在这里宣称更一般的大数定律。若参数也是看着同一批数据选出的，就必须把选择过程带来的影响一并考虑；不能把“固定模型”的推理直接搬给训练后的赢家。",[10,225,226],{},"目标分布也可能与采样来源不同。专门在三个易操作位置收集记录，并不等于未来滑杆只会到这三处；各处使用频率不同，平均时的分量也可能不同。把一张训练成绩单算得再精确，都不能补上这些缺失条件。",[10,228,229],{},"未见数据上的评估、记录单位、来源与时间变化，回到第23章的方法检查；更系统的泛化问题留到第34章。现在只需牢牢记住：Rₙ小，不自动推出R小；把Rₙ求到最小，也不能单独回答目标是否选对。",[20,231,233],{"id":232},"目标明确之后怎样动参数","目标明确之后，怎样动参数",[10,235,236],{},"本章完成了优化之前的一次翻译：说明预测任务，固定样本与模型，选择单次损失和汇总方式，写明可行集合，再询问其中哪个参数让目标最小。",[10,238,239],{},"接下来我们暂时回到等权平方和，固定a＝1/2。同样用配方，可以把目标写成",[10,241,242],{},"L(b)＝3(b−7/6)²＋1/6。",[10,244,245],{},"这里每个b对应一个分数；把b稍微增加一点，分数究竟下降还是上升？每改动一点，变化有多快？第30章将从这种局部变化出发，引入导数。我们已经说清想降低什么，现在开始研究怎样有根据地调整。",[20,247,248],{"id":248},"顺手试一下",[10,250,251],{},[252,253,254],"strong",{},"题目1：中间位置多重要，排序才翻转？",[10,256,257],{},"两端权重仍为1，把中点权重改为t≥0。求C、D各自的加权平方和，并找出两者打平的t。这个结果是否证明其中一个是所有直线中的最优者？",[10,259,260],{},"**提示：**分别写成(1＋2t)/18与(2＋t)/16，通分比较。",[10,262,263],{},"**参考答案：**C为(1＋2t)/18，D为(2＋t)/16，差值C−D＝(7t−10)/144。t＝10/7时打平；t\u003C10/7时C更好，t>10/7时D更好。单位为平方厘米。这里只比较了两个候选，不能据此宣布全局最优。",[10,265,266],{},[252,267,268],{},"题目2：分数变小了，预测改善了吗？",[10,270,271],{},"某人把等权SSE改成MSE，发现C的分数从1/6变成1/18，于是宣称“错误减少了三分之二，未来表现也会更好”。另一个人说，只要再限制a≥0、b≥0，就不必选择损失了。两句话分别错在哪里？",[10,273,274],{},"**提示：**检查预测是否改变、分数的分母是什么，以及约束能否给可行候选排序。",[10,276,277],{},"**参考答案：**三点上的预测没有变，只是总和除以3；分数的数值变小不代表偏差减少，也没有新增未来评估证据。非负约束只限定可选参数，许多不同直线都满足，仍需损失来比较。C本已可行，加入这些约束也不会改变它在当前等权平方和问题中的最优性。",[20,279,280],{"id":280},"参考与延伸",[10,282,283,284,291],{},"[1] Stephen Boyd、Lieven Vandenberghe、Parth Nobel，Stanford EE364a，",[285,286,290],"a",{"href":287,"rel":288},"https://web.stanford.edu/class/ee364a/lectures/intro.pdf#page=4",[289],"nofollow","Introduction","，讲义1.2—1.4、1.7。核对变量、目标、约束的分工及模型参数的优化表述；本文不展开凸性与求解算法。",[10,293,294,295,300],{},"[2] NIST/SEMATECH，",[285,296,299],{"href":297,"rel":298},"https://www.itl.nist.gov/div898/handbook/pmd/section4/pmd432.htm",[289],"e-Handbook of Statistical Methods：Weighted Least Squares","，§4.4.3.2。核对加权平方和及优化时数据、权重固定而参数可调的含义。本文的权重用于明确的教学计分要求，不把它当成已估计的测量精度。",[10,302,303,304,309],{},"[3] Shai Shalev-Shwartz、Shai Ben-David，",[285,305,308],{"href":306,"rel":307},"https://www.cs.huji.ac.il/~shais/UnderstandingMachineLearning/understanding-machine-learning-theory-algorithms.pdf#page=35",[289],"Understanding Machine Learning: From Theory to Algorithms","，§2.2、§3.2.2，作者提供PDF的第35、48页。核对经验风险、期望风险与一般损失的定义；两者差别在本文沿用的三点例中另行说明。",[10,311,312],{},"本章沿用第12、17章的虚构三点读数和候选C、D；权重比较、配方、练习与三幅图为独立教学编排，不代表真实系统的测量或评估结果。",[314,315],"hr",{},[10,317,318],{},"作者：Jiancheng Wang · 数学之美（独立原创）",{"title":320,"searchDepth":321,"depth":321,"links":322},"",3,[323,325,326,327,328,329,330,331],{"id":22,"depth":324,"text":22},2,{"id":71,"depth":324,"text":72},{"id":96,"depth":324,"text":97},{"id":163,"depth":324,"text":163},{"id":187,"depth":324,"text":187},{"id":232,"depth":324,"text":233},{"id":248,"depth":324,"text":248},{"id":280,"depth":324,"text":280},"md",{"collection":334,"order":335,"slug":336,"author":337},"数学之美",29,"loss-functions","Jiancheng Wang",true,"/column/math-beauty/loss-functions",{"title":5,"description":12},"column/math-beauty/loss-functions","bZmUZ5ve1GA76a7DeyW2TJc2uPD5OFZw4PsCAhbWoCQ",1791935829193]