《AI Agent 技术原理与架构·模型、推理与能力边界》附录 A 术语与口径

卷一用到的术语与指标定义:条件概率、温度、top-p、KV Cache、TTFT/TPOT、SFT、RLHF/DPO、对齐、Function Calling、约束解码、CoT、RLVR/GRPO、幻觉、校准、RAG、路由与级联,逐条给出定义、计算口径与易混淆点;正文出现这些词时以本表为准,三卷共用同一套口径,可在附录 B 找到参数复算路径。

本附录定义卷一出现的核心术语与指标。正文使用这些词时,以本表的口径为准;同一概念不在别处另设定义。

所有指标都可以用附录 B 的工作负载参数复算。

一、生成与采样

条件概率

下一个 token 的概率取决于前面的全部 token:

P(t_i | t_1 ... t_{i-1})

自回归模型一次生成一个 token,前面的 token 是条件,当前 token 是结果。

温度(temperature)

对 logits 缩放后再做 softmax 的参数。温度低 → 分布尖锐、输出确定;温度高 → 分布平坦、输出多样。

top-p(核采样)

从概率累计到 p 的最小 token 集合里采样。top-p 越小,候选集越窄,输出越确定。

停止条件

生成何时停止:最大 token 数、结束符、工具调用标记、外部预算。停止条件是运行时的不变量,不是模型的属性。

供应商非确定性

同一输入、同一请求,多次调用返回不同输出的现象。来源:采样、批处理顺序、浮点运算。

二、注意力与上下文

注意力

因果注意力中,每个 token 只能读到它之前的 token。注意力权重决定"读到多少"。

位置编码(RoPE)

把位置信息注入注意力的方法。旋转位置编码支持一定程度的长度外推,外推超过训练长度时质量下降。

KV Cache

保存已计算过的 key/value 张量,避免重复计算。KV Cache 大小与上下文长度线性增长,是并发上限的主要约束。

TTFT / TPOT

  • TTFT:首 token 延迟(Prefill 阶段);- TPOT:每 token 生成耗时(Decode 阶段)。

两者来源不同:Prefill 是并行计算,Decode 是串行步进。

上下文预算

一次请求能放进上下文的 token 上限,通常是显存与成本的函数。预算有限时,“什么该放前面"成为设计问题。

Lost in the Middle

模型对上下文中间位置的信息利用弱于开头与结尾。位置影响"读到多少”。

三、训练与对齐

SFT(监督微调)

用人工标注的输入-输出对训练模型,获得指令跟随能力。本质是行为克隆。

RLHF / DPO

用人类偏好对训练模型。RLHF 用奖励模型 + 强化学习,DPO 用隐式奖励直接优化。两者都引入服从与谄媚的倾向。

对齐

让模型的输出符合人类意图的工程与训练过程。对齐改善跟随,不消除幻觉,也不改变能力上限。

能力卡

把模型的边界(能做什么、不能做什么、成本、延迟、可回放性)写成一张可比较的文档。

四、工具调用

Function Calling

模型把指令转成一次带参数的函数调用的能力。训练路径与推理路径不同:训练时学习"什么时候调、调哪个、传什么参",推理时输出结构化调用。

约束解码

在解码时强制输出符合给定 schema,保证结构化输出合法。约束解码减少格式错误,但不保证语义正确。

工具选择错误

模型选错工具或传错参数的失败类型。分类:选错工具、参数错误、不必要时调用、应该调用而放弃。

五、推理

CoT(思维链)

在最终答案前输出中间推理步骤。显式推理能提升复杂任务的正确率,但增加 token 成本,且中间步骤不一定可靠。

RLVR / GRPO

用可验证奖励训练推理模型的方法。奖励基于结果可判定(如测试通过),而非人工打分。

测试时计算

推理阶段投入更多计算(更多 token、更多搜索)以换取质量。何时值得取决于任务难度与成本。

六、知识、幻觉与检索

幻觉

模型输出与事实不符。分类:事实幻觉(事实错误)、引用幻觉(引用不存在)、执行幻觉(声称做了没做的事)。

校准

模型自报置信度与真实准确率的一致性。校准不等于准确率高。

参数知识 vs 检索知识

知识存在模型参数里(训练记忆)还是外置存储里(RAG 检索)。两者的更新成本、准确性、来源可溯性不同。

RAG

检索增强生成:先从外部存储召回相关内容,再让模型基于它生成。

七、路由与级联

路由

按输入特征把请求分到不同模型。判据:能力、成本、风险。

级联 / 集成

级联:先便宜后昂贵,必要时升级;集成:多个模型结果合并。两者都在"质量换成本"的谱系上,但机制不同。

模型差异的量化

两个模型在目标任务上的差异需要统计量化,而不是只看一两次运行。

八、易混淆点

  1. 温度与 top-p:温度缩放整体分布,top-p 裁剪候选集,两者独立使用但常被混讲。
  2. TTFT 与 TPOT:一个并行一个串行,合起来才是端到端延迟,不能只看一个。
  3. 对齐与能力:对齐改善服从,不提升能力上限;能力边界另测。
  4. 幻觉与错误:所有模型都会错,幻觉特指"自信的错误",对策是拒答与引用。
  5. KV Cache 与上下文长度:两者都影响成本,但机制不同,混用会导致预算误算。
  6. 路由与级联:路由是分流,级联是升级链,实现与成本不同。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图