《AI Agent 技术原理与架构·模型、推理与能力边界》5.2 RLHF/DPO:偏好、拒绝与谄媚
偏好学习让模型从“像人写的”走向“人更喜欢的”,但偏好不等于正确。本节用 Bradley-Terry、DPO 损失与长度偏差三个最小实验,说明 RLHF/DPO 在优化什么、为什么长度和风格会劫持排序、谄媚从哪里来,以及架构上如何把偏好评测与正确性评测分开。
category
偏好学习让模型从“像人写的”走向“人更喜欢的”,但偏好不等于正确。本节用 Bradley-Terry、DPO 损失与长度偏差三个最小实验,说明 RLHF/DPO 在优化什么、为什么长度和风格会劫持排序、谄媚从哪里来,以及架构上如何把偏好评测与正确性评测分开。
监督微调把“补全文本”变成“按指令行动”,但它学的是示范轨迹上的行为,不是任务规则本身。本节用走廊环境的行为克隆实验说明 SFT 的分布偏移:专家没走过的状态,策略不会处理;并给出示范覆盖、轨迹记录、DAgger 式纠偏的架构判据,最后给出可执行的示范数据检查表。
长上下文的成本不是一条曲线,而是两条:注意力的计算随长度二次增长,KV Cache 的读取随长度线性增长。本节用缩放关系与一个 64K token 的算例,说明什么时候二次项主导、什么时候线性项主导,以及为什么 FlashAttention 降低的是显存访问而不是计算量。
上下文不是免费的:每个并发序列都要在显存里保留一份 KV Cache。本节用 KV 显存公式和 MHA/GQA 对比,说明层数、头数、序列长度与 batch 如何共同决定并发上限,以及为什么 PagedAttention、前缀缓存和 GQA 都是在同一笔显存账上做文章。
一次大模型调用分两个阶段:prefill 并行读入上下文,decode 逐个生成 token。前者决定首 token 延迟 TTFT,后者决定每 token 延迟 TPOT。本节用一个可计算的延迟分解模型,说明两条负载预算如何分开设定,以及为什么“平均延迟达标”仍然可能在 p95 上失败。
残差连接让信息跨层直达,归一化让每层输入保持可控尺度;两者缺一不可。本节用一个小型残差流实验,对比“有残差无归一化”“有归一化无残差”“两者都有”三种情况下的范数增长,说明深层模型为什么需要这个组合,以及深度、精度和量化之间的架构约束,并给出工程检查表。
注意力本身不知道 token 的先后顺序,位置编码把顺序注入表示。绝对位置编码与 RoPE 的差别不只是实现细节:前者让分数随绝对位置漂移,后者让分数只依赖相对偏移。本节用旋转位置编码的最小实验说明这种相对性、长度外推的边界,以及长上下文声明为什么必须在训练长度之外单独评测。
注意力不是“模型在看哪里”的解释,而是上下文信息按权重混合的机制。本节用缩放点积注意力和因果掩码的最小实现,说明 token 如何读取前文、掩码如何约束信息流、为什么注意力权重不能直接当解释,以及这些性质如何变成上下文顺序与前缀缓存的架构约束。
即使温度设为 0,同一个请求也可能得到不同输出:批处理形状、浮点归约顺序、模型版本和检索快照都会改变结果。本节把非确定性来源分成五类,定义审计、重跑与反事实三种重放目标,给出每种目标必须记录的最小字段集,讨论记录成本与数据质量的边界,最后给出排查顺序。
温度调的是分布的陡峭程度,top-p 调的是保留多少尾部;两者都不会给模型增加知识。本节用熵、nucleus 集合、distinct-n 与 pass@k 四个量,说明采样参数如何改变策略多样性,以及什么条件下多样性值得付费、什么条件下只是在制造错误候选。
自回归模型只做一件事:给定前文,输出下一个 token 的分布。这个局部机制如何变成一次工具调用、一条多步轨迹,又在哪里失效?本节用链式法则和最小 bigram 实验说明条件概率、采样与停止条件,并给出 Agent 架构必须记录的 logprob、停止原因与预算字段。
判据不是“效果好”的同义词,而是一条能被检查、能被证伪的陈述。本节把三条工作负载与“层、问题、判据、证据、负载”五字段格式组合起来,说明一个可评审的判据必须观测什么、绑定哪条负载,并用一个审计实验演示模糊判据如何在评审前被拒掉,最后给出可执行的评审流程。
同一句“Agent 不稳定”,缺的可能是模型能力卡、决策轨迹,也可能是崩溃恢复证据。本节把能力线、决策线、执行线拆成三组可检查的证据要求,给出能力到决策、决策到执行的交接条件,并用一个审计实验说明:结论挂在错误的主线上,即使方向正确也无法被证伪。
《AI Agent 技术原理与架构·模型、推理与能力边界》的目录与学习路径:45 篇逐节索引、三条阅读路线、十三章依赖关系,以及本卷与站内既有 Agent 工程、AI 架构书稿的分工边界;读完能判断哪些章节必须先读、哪些可以跳读,也能看清能力线在三卷里的位置。
本书怎么来的、写给谁、三卷如何分工、三条工作负载是什么、数字与代码口径是什么、哪些内容不在本书范围内——读正文之前需要先知道的六件事都在这一篇里,另附最短阅读路线与一次能力模型评审的走法;最后说明每节代码块与实验工程 agp-lab 的对应关系,以及如何自己重跑每个实验。
全 45 篇(序、前言、目录 + 39 节 + 附录 A/B/C)的章节索引:从退出的四种形态出发,依次处理关停清单、休眠维护、出售准备、交易交割、数据迁移、债务税务、团队收尾、客户沟通、失败复盘、复出重启与资产保鲜,最后合成为三案例的三年生存轨迹。
为什么 Agent 需要一套讲原理的书:站内的工程书回答怎么做、产品书回答该不该做,但没回答为什么这样做才成立、以及不成立时会在哪里坏。序里给出本书的三条主线、三条工作负载与判据格式的由来,以及它和《AI Agent 开发》《互联网产品的 AI 架构》的分工;读完能判断这本书应该怎么读、能回答哪类问题。
卷三对应的第 31–45 项退出与重启评审:退出形态判断标准、关停清单、休眠成本核算、可售资产盘点、估值方法、尽调准备、交割后义务、数据迁移、债务税务顺序、团队收尾、客户沟通模板、复盘方法、复出条件、代码可维护性与长期记录,逐条给出判分标准与三案例得分。
卷三使用的退出事实表:A 林叙、B 周牧、C 陈屿三家的可售资产、合同与义务、数据与账号归属、最现实的退出选项、关停现金成本与年化休眠成本估算,逐项给出估算口径、阻塞点与判断标准,正文所有退出数字以本表为唯一来源,并与卷一、卷二附录的业务数字严格对齐。
卷三术语与指标手册:退出四形态、关停成本与退款负债、休眠成本与激活成本、SLA 降级、可售资产、SDE 与倍数估值、现金流折现、尽调、意向书、earn-out、交割后义务、IP 归属、清算顺序与个人担保解除、复盘归因、复出条件等四十余个概念的定义、计算式与常见误用。