《AI Agent 产品开发·任务定义与能力边界》附录 A 术语与指标
卷一用到的术语与指标定义:Agent 产品、任务、任务规格、自主度四档、接管、返工、人机耗时比、压缩率与节省率,逐条给出定义、计算口径与易混淆点,并附三案例各自的取值与复算路径,正文出现这些词时以本表为准,也可直接作为评审时的口径对照表使用。
category
卷一用到的术语与指标定义:Agent 产品、任务、任务规格、自主度四档、接管、返工、人机耗时比、压缩率与节省率,逐条给出定义、计算口径与易混淆点,并附三案例各自的取值与复算路径,正文出现这些词时以本表为准,也可直接作为评审时的口径对照表使用。
把卷二的判断压缩成一份可打印的成本优化评审清单:度量口径、基线、调度、上下文、输出、缓存、替代、离线、容量、归因、实验、联合门禁与稳定性共十三组六十五问,每组附通过判据与常见驳回理由,末页给出四十五分钟评审流程、结论模板、上线后复盘表与三个常见误区。
卷一收口:五条结论分别回答 Agent 是什么、自主到哪、规格怎么写、指标怎么量、成本怎么算;再用 15 项评审的 0 分项划出进入卷二的判据。三案例各有一到两项必须先补齐,交互与信任不能替任务定义补课,也不能用界面掩盖冷启动与记忆口径的空白。
把卷二用到的算式集中成可直接代入的速查:token 成本、重试放大、缓存净收益、批处理盈亏平衡、级联阈值、容量换算、配额映射、归因分解与量化收益估算;每个公式给出变量含义、代入示例、适用边界与对应章节,并附常见误用、口径提醒与一张十分钟估算表。
15 项任务定义评审,每项 0/1/2,单卷满分 30。A Relay 得 22 分、B Quill 18 分、C Runner 26 分,三家都低于全书 72 分通过线。本节给出完整的逐项评分表、每处扣分的理由,并指出三家共同的三个短板。
把卷二反复使用的指标压缩成一页可查的定义表:TTFT、TPOT、端到端延迟、吞吐、goodput、并发、缓存命中率、重试率、降级率、单次成本、单位 token 成本与归因维度;每个指标给出定义、算式、分母、常见误读与对应章节,并附一张团队口径对齐模板。
四组对照跑在同一批固定样本上:提示压缩省 19.72% 成本却丢掉 13.33% 的事实探针;结果缓存省 52.99% 现金成本但误命中 7 次;小模型省 75% 成本而质量降 3.59%;批处理省 8.60% 却把单条延迟推到 58 分钟。
卷一收口先把三案例压成一张基线表:任务量、档位、原人工、Agent 后人工、人机总耗时、压缩率、节省率与月成本。本节逐行解释每个数字的来源,说明三条压缩率与三个节省率为什么不是同一组数,并给出可复算、可对账的 TypeScript 基线模型。
把四个指标与人机时间账写成一个可对账的模型:人工、系统、维护三笔分列,三案例逐项复算;再故意实现一个漏算转人工的 C Runner 版本,展示节省率如何从 73.7% 夸大到 90.8%,差出 17.1 个百分点,并说明为什么人工口径比模型价格更敏感。
本附录把卷二的方法整理成九组可勾选的评审项:协议兼容、连接重连、离线冲突、同步预测、战报赛季、流量心跳、资源分包、热更灰度、下载 CDN。每组给出判定标准与可接受的证据形态,供版本评审与上线前自查使用;每项只有通过与不通过两态,没有中间分数。
同一个 Agent,换一个分母就能把节省率从 73.7% 讲成 90.8%。本节拆三个指标陷阱:平均值没有权重、分母悄悄变化、幸存者偏差,用 C Runner 的转人工和 B Quill 的返工三档各算一遍,并给出可复算的 TypeScript 检查函数。
本附录是卷二所有数字的唯一事实源:两款产品的网络质量、连接行为、包体与资源构成、热更节奏、CDN 下载量与政策边界都在这里定义。正文引用任何数字都必须回到这张表,避免同一本书里出现两套 DAU、包体或 RTT,也避免把案例设定值误当成线上实测。
三项优化一起上线,账单降了三成,却无法回答每一项贡献多少。本节把基线、可判定假设、单变量对照、样本量与统计窗口写成可执行的设计门禁,用 63 条样本量的推导说明何时该说样本不够,并演示辛普森悖论:每个分段都更便宜,整体反而更贵。附 6 项设计门禁测试。
成功率、接管率、返工率、人机耗时比各回答一个问题,也各有自己的分母。本节给出四个指标的定义、采集点与口径,用 A Relay、B Quill、C Runner 各算一遍,说明少看一个为什么会算错账,并给出可运行的 TypeScript 计算函数。
本附录按连接、同步、资源、发布四组整理卷二用到的术语,每条给出定义、口径与常见误用。它不是网络百科,而是全书判断链的词汇表:同一个词在客户端、服务端与发行团队口中含义不同时,以这里的口径为准,避免「重连成功」这类词在四个团队里各自指一件事。
飞轮不是数据越多越好,而是反馈密度、反馈质量、回流速度三项同时成立。本节给出三项的量化判据,用 B Quill 的 606 份报告、63/28/9 三档审改与 1.6 小时回流说明高质量反馈从哪来,对比 A/B/C 的 6、5、4 分,并给出可运行的飞轮评分模型与启动阈值。
卷二收口的最后一道门禁,把附录 C 的九组检查项写成可运行评审器:pass 无证据自动降级为 partial,partial 与 fail 都阻塞,空评审直接判失败。本节给出九组汇总、失败组与空白组的区别,以及进入商业化卷之前必须回答的四个问题与带病进入的登记方式。
发布不是「上传完就结束」,而是一条有依赖、有检查、有回滚分支的流水线。本节把构建、签名、上传、灰度、全量与回滚写成可运行的状态图,给出依赖校验、拓扑排序与就绪判定,并用双案例说明为什么回滚必须和发布同时设计、门禁参数为何不能跨产品直接照抄。
第一次价值必须发生在第一个真实任务里,而且不能依赖历史数据。本节给出首次体验的五步模板,用 A Relay 的第一张工单说明 1.05 分钟、78% 采纳率与三条依据如何构成单次价值,拆解首次失败为何几乎不可挽回,并提供可运行的首次体验审计模型与连续三次不顺的概率估算。
卷二的收口从一张指标矩阵开始:每项指标必须同时回答属于哪一组、单位是什么、预算多少、哪款产品超标。本节把连接质量、可用性、状态恢复、流量与下载五组指标写成可运行校验,用 ok/watch/fail 三档区分「可发布」「需观察」「必须修复」。