知识专题 · 36篇
从LLM到Agent · 理论路线
从信息表示和学习出发，用可核算的例子与白板图逐步理解大模型、后训练、推理和Agent系统。
开始阅读 1个部分 · 36篇可读
理论与机制
36篇- 0101｜AI地图：模型、训练方法、产品与系统各在哪一层
- 0202｜文字怎样变成token：切分、词表与长度的代价
- 0303｜向量和矩阵：信息如何进入可学习的计算
- 0404｜预测为何是一组概率：从分数到损失
- 0505｜什么才算学会：拟合、泛化与数据分布
- 0606｜神经网络在算什么：加权、非线性和多层表示
- 0707｜参数怎样更新：梯度、反向传播与训练资源
- 0808｜Attention：当前位置怎样读取其他位置
- 0909｜Transformer：把一层计算接成深网络
- 1010｜预训练：为什么接着预测能学到语言与任务
- 1111｜数据、参数与算力：规模为什么有用，也为什么有代价
- 1212｜MoE：很多参数，为什么每次只用一部分
- 1313｜SFT：怎样用示范把基础模型教成助手
- 1414｜微调为什么不必重练整个模型：从SFT到LoRA
- 1515｜RLHF与DPO：人说“这个更好”，模型怎样学
- 1616｜推理强化学习：答案可验证时，奖励怎样设计
- 1717｜蒸馏：小模型究竟从大模型那里学了什么
- 1818｜量化与压缩：少用几位，保住什么、损失什么
- 1919｜一段回答怎样产生：自回归、采样与停止
- 2020｜上下文为什么贵：prefill、decode与KV缓存
- 2121｜推理时计算：多想、多试、核验分别增加什么
- 2222｜幻觉、校准与拒答：流畅为什么不够
- 2323｜评测模型：一个分数能支持多大结论
- 2424｜图像怎样进入模型：表示与跨模态对齐
- 2525｜图像怎样生成：从噪声到图，而非给文字换皮
- 2626｜声音和视频：时间进入表示以后
- 2727｜上下文学习与结构化输出：参数不变，行为为什么能变
- 2828｜RAG：从找资料到有证据的回答
- 2929｜记忆：系统记住的，到底是哪一层
- 3030｜工具调用：语言怎样触发真实计算和操作
- 3131｜MCP：协议解决连接，不替你决定信任
- 3232｜Agent与工作流：目标、状态、动作和停止
- 3333｜计划、搜索与多Agent：多做几步为何也会更脆弱
- 3434｜安全与对齐：外部文字何时变成危险指令
- 3535｜评价整个系统：正确率、成本、延迟与失败恢复
- 3636｜怎样读懂一份新模型报告，做出有依据的选择