《互联网产品的 AI 架构·推理性能与成本工程》11.1 质量-成本-延迟的权衡面
「回声」要在八个能力上同时选模型,加权总分却把取舍藏成一个数字。本节把质量、成本与延迟放回三维坐标,用支配关系求 Pareto 前沿,区分被支配区域与真正不可兼得的边界,再按能力护栏与边际成本选点;文中给出可运行的前沿模块与示例样本运行结果,说明最贵的不一定最好、最便宜的也不一定够用。
tag
「回声」要在八个能力上同时选模型,加权总分却把取舍藏成一个数字。本节把质量、成本与延迟放回三维坐标,用支配关系求 Pareto 前沿,区分被支配区域与真正不可兼得的边界,再按能力护栏与边际成本选点;文中给出可运行的前沿模块与示例样本运行结果,说明最贵的不一定最好、最便宜的也不一定够用。
成本显著下降不等于可以发布:批处理每条只省 17.54 微元却把延迟推到 58 分钟,缓存的质量回退在 12 次比较后不再显著。本节用置信区间、效应量、质量回退形态与外推风险,逐组判断四组实验哪些能上线、哪些只能留作探索,并附 7 项判定测试。
把卷二的判断压缩成一份可打印的成本优化评审清单:度量口径、基线、调度、上下文、输出、缓存、替代、离线、容量、归因、实验、联合门禁与稳定性共十三组六十五问,每组附通过判据与常见驳回理由,末页给出四十五分钟评审流程、结论模板、上线后复盘表与三个常见误区。
把卷二用到的算式集中成可直接代入的速查:token 成本、重试放大、缓存净收益、批处理盈亏平衡、级联阈值、容量换算、配额映射、归因分解与量化收益估算;每个公式给出变量含义、代入示例、适用边界与对应章节,并附常见误用、口径提醒与一张十分钟估算表。
把卷二反复使用的指标压缩成一页可查的定义表:TTFT、TPOT、端到端延迟、吞吐、goodput、并发、缓存命中率、重试率、降级率、单次成本、单位 token 成本与归因维度;每个指标给出定义、算式、分母、常见误读与对应章节,并附一张团队口径对齐模板。
四组对照跑在同一批固定样本上:提示压缩省 19.72% 成本却丢掉 13.33% 的事实探针;结果缓存省 52.99% 现金成本但误命中 7 次;小模型省 75% 成本而质量降 3.59%;批处理省 8.60% 却把单条延迟推到 58 分钟。
三项优化一起上线,账单降了三成,却无法回答每一项贡献多少。本节把基线、可判定假设、单变量对照、样本量与统计窗口写成可执行的设计门禁,用 63 条样本量的推导说明何时该说样本不够,并演示辛普森悖论:每个分段都更便宜,整体反而更贵。附 6 项设计门禁测试。
财务发来的模型账单比内部账多 43,200 微元,团队却只回了一句“口径不同”。本节把差异拆成时间、舍入、价格版本、缓存口径、范围与未知六类,给出从规范化、匹配、分类到责任人闭环的对账流程,以及可直接贴进月报的差异解释模板,并用示例样本上的真实运行结果演示 42,200 微元如何被解释、1,000 微元如何进入待查。
模型账单涨了 37%,按模型拆却发现每个模型都只涨了一点。本节先把成本格做成可精确相加的全外连接,再说明为什么租户、能力、模型、提示版本与路由五个视角不能相加,最后用示例样本上的量、结构、单价三因子分解,把差异落到提示改版与升级路由这两个可行动维度。
「回声」的模型账单比 token 单价乘出来的数字高三成,团队却只盯着单价。本节把重试、缓存未命中、失败请求、空闲容量与跨区传输拆成可核对的实际成本与计划偏差,给出整数微元的成本模型、每千次成功请求口径,并用示例样本上的真实测试输出说明隐藏成本藏在哪里。
大客户买了每天 20 亿 token 的配额,却在峰值把共享池挤满;另一个客户的预算只够撑 23 天,配额却看起来绰绰有余。本节把 token 配额、预算配额与并发配额分开,给出配额到峰值并发、预算到可购买 token 的两条换算链,并说明保底额度、共享池与超配比例怎样决定一个池子是否可行。
平均利用率只有四成,周一上午却仍然超时。本节把峰值拆成观测峰值、持续峰值与计划峰值,说明余量比例该覆盖哪些误差,并用确定性模型计算冷启动期间的容量缺口、积压与排空时间;示例样本显示 90 秒冷启动会留下 450 个请求的积压,需要 180 秒才能排空。
「回声」要为一季度做容量预算,营销只给日活与人均请求,财务只问 token 总量和峰值。本节把业务量拆成请求数、长度分布、重试系数与峰值系数,给出可代入的算式、缓存对配额与成本的不同影响,以及从峰值 RPS 到并发的 Little 定律实现;所有数字都标注为公式代入值或示例样本运行结果。
12 万条作业在 06:00 没有关上窗口,团队却把半成品当成完整结果发布。本节用 12,000 条确定性到达样本比较批大小与等待窗口、限流与并发两个产能上限、单位成本随批大小的下降曲线,并给出错过窗口时的降级顺序、产能判据与可运行的成本模型。
12 万条质检作业在 63% 处崩溃,重跑后多付了 2,702,700 微元,还给客户重复发了邮件。本节说明分片键为何必须绑定业务条目而不是数组下标、重试预算为何要放在作业级共享池、幂等键与去重窗口如何覆盖崩溃重跑,以及部分失败时如何隔离毒条目而不是整批作废。
「回声」把 12 万条会话质检塞进在线网关,结果抢走配额、重复计费、单条超时。本节用消费方式、时效、失败单位与容量四个判据划出在线与离线的边界,给出 242 条的盈亏平衡点、混合切分方法与可运行的 TypeScript 判定器,并说明离线为何不是低优先级在线。
40 条样本上,按 0.7375 盈亏平衡点级联总成本 7670 微元,比常驻大模型省 730,代价是准确率从 100% 降到 97.5%。本节推导阈值公式、量化误判成本,并给出三策略对比与阈值扫描方法,说明级联并非无条件更省,质量下限也会改变结论。
学生模型在 24 条分能力样本上保留 0.9638 的质量、只花 0.25 的成本,但代码评审能力掉到 0.8312,被单能力下限拦下并自动回退。本节给出教师-学生逐条验收、分能力验收集、替代判据与四类运行时回退条件,并说明整体指标为何会掩盖单能力塌陷。
把四卷中反复出现的三款产品、平台 northstar-platform 与关键事故整理成索引:按产品、按主题、按章节三种查法,标出每个案例首次出现的位置与卷四中的延伸,并说明书中案例与数字的教学用途和替换约束的方法。索引只做定位,不重复正文论证,便于按问题反查。
平台能力、LiveOps 活动、GM 工具、观测与 SLO、治理规则五类上线的检查清单,每项给出证据、owner 与失败处理,附上线中与上线后的核对节奏,以及只能带一页纸进评审室时的八条底线,可直接作为发布评审输入。清单不替代产品自身的发布流程,只补协作相关的检查项。