本附录定义卷一出现的核心术语与指标。正文使用这些词时,以本表的口径为准;同一概念不在别处另设定义。
所有指标都可以用附录 B 的工作负载参数复算。
一、生成与采样
条件概率
下一个 token 的概率取决于前面的全部 token:
P(t_i | t_1 ... t_{i-1})
自回归模型一次生成一个 token,前面的 token 是条件,当前 token 是结果。
温度(temperature)
对 logits 缩放后再做 softmax 的参数。温度低 → 分布尖锐、输出确定;温度高 → 分布平坦、输出多样。
top-p(核采样)
从概率累计到 p 的最小 token 集合里采样。top-p 越小,候选集越窄,输出越确定。
停止条件
生成何时停止:最大 token 数、结束符、工具调用标记、外部预算。停止条件是运行时的不变量,不是模型的属性。
供应商非确定性
同一输入、同一请求,多次调用返回不同输出的现象。来源:采样、批处理顺序、浮点运算。
二、注意力与上下文
注意力
因果注意力中,每个 token 只能读到它之前的 token。注意力权重决定"读到多少"。
位置编码(RoPE)
把位置信息注入注意力的方法。旋转位置编码支持一定程度的长度外推,外推超过训练长度时质量下降。
KV Cache
保存已计算过的 key/value 张量,避免重复计算。KV Cache 大小与上下文长度线性增长,是并发上限的主要约束。
TTFT / TPOT
- TTFT:首 token 延迟(Prefill 阶段);- TPOT:每 token 生成耗时(Decode 阶段)。
两者来源不同:Prefill 是并行计算,Decode 是串行步进。
上下文预算
一次请求能放进上下文的 token 上限,通常是显存与成本的函数。预算有限时,“什么该放前面"成为设计问题。
Lost in the Middle
模型对上下文中间位置的信息利用弱于开头与结尾。位置影响"读到多少”。
三、训练与对齐
SFT(监督微调)
用人工标注的输入-输出对训练模型,获得指令跟随能力。本质是行为克隆。
RLHF / DPO
用人类偏好对训练模型。RLHF 用奖励模型 + 强化学习,DPO 用隐式奖励直接优化。两者都引入服从与谄媚的倾向。
对齐
让模型的输出符合人类意图的工程与训练过程。对齐改善跟随,不消除幻觉,也不改变能力上限。
能力卡
把模型的边界(能做什么、不能做什么、成本、延迟、可回放性)写成一张可比较的文档。
四、工具调用
Function Calling
模型把指令转成一次带参数的函数调用的能力。训练路径与推理路径不同:训练时学习"什么时候调、调哪个、传什么参",推理时输出结构化调用。
约束解码
在解码时强制输出符合给定 schema,保证结构化输出合法。约束解码减少格式错误,但不保证语义正确。
工具选择错误
模型选错工具或传错参数的失败类型。分类:选错工具、参数错误、不必要时调用、应该调用而放弃。
五、推理
CoT(思维链)
在最终答案前输出中间推理步骤。显式推理能提升复杂任务的正确率,但增加 token 成本,且中间步骤不一定可靠。
RLVR / GRPO
用可验证奖励训练推理模型的方法。奖励基于结果可判定(如测试通过),而非人工打分。
测试时计算
推理阶段投入更多计算(更多 token、更多搜索)以换取质量。何时值得取决于任务难度与成本。
六、知识、幻觉与检索
幻觉
模型输出与事实不符。分类:事实幻觉(事实错误)、引用幻觉(引用不存在)、执行幻觉(声称做了没做的事)。
校准
模型自报置信度与真实准确率的一致性。校准不等于准确率高。
参数知识 vs 检索知识
知识存在模型参数里(训练记忆)还是外置存储里(RAG 检索)。两者的更新成本、准确性、来源可溯性不同。
RAG
检索增强生成:先从外部存储召回相关内容,再让模型基于它生成。
七、路由与级联
路由
按输入特征把请求分到不同模型。判据:能力、成本、风险。
级联 / 集成
级联:先便宜后昂贵,必要时升级;集成:多个模型结果合并。两者都在"质量换成本"的谱系上,但机制不同。
模型差异的量化
两个模型在目标任务上的差异需要统计量化,而不是只看一两次运行。
八、易混淆点
- 温度与 top-p:温度缩放整体分布,top-p 裁剪候选集,两者独立使用但常被混讲。
- TTFT 与 TPOT:一个并行一个串行,合起来才是端到端延迟,不能只看一个。
- 对齐与能力:对齐改善服从,不提升能力上限;能力边界另测。
- 幻觉与错误:所有模型都会错,幻觉特指"自信的错误",对策是拒答与引用。
- KV Cache 与上下文长度:两者都影响成本,但机制不同,混用会导致预算误算。
- 路由与级联:路由是分流,级联是升级链,实现与成本不同。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。