《互联网产品的 AI 架构·推理性能与成本工程》附录 C 推理成本优化评审清单
把卷二的判断压缩成一份可打印的成本优化评审清单：度量口径、基线、调度、上下文、输出、缓存、替代、离线、容量、归因、实验、联合门禁与稳定性共十三组六十五问，每组附通过判据与常见驳回理由，末页给出四十五分钟评审流程、结论模板、上线后复盘表与三个常见误区。
tag
AI 架构
共 180 篇文章。
《互联网产品的 AI 架构·推理性能与成本工程》附录 B 成本模型与容量公式速查
把卷二用到的算式集中成可直接代入的速查：token 成本、重试放大、缓存净收益、批处理盈亏平衡、级联阈值、容量换算、配额映射、归因分解与量化收益估算；每个公式给出变量含义、代入示例、适用边界与对应章节，并附常见误用、口径提醒与一张十分钟估算表。
《互联网产品的 AI 架构·推理性能与成本工程》附录 A 性能与成本指标速查
把卷二反复使用的指标压缩成一页可查的定义表：TTFT、TPOT、端到端延迟、吞吐、goodput、并发、缓存命中率、重试率、降级率、单次成本、单位 token 成本与归因维度；每个指标给出定义、算式、分母、常见误读与对应章节，并附一张团队口径对齐模板。
《互联网产品的 AI 架构·推理性能与成本工程》10.2 四组对照实验
四组对照跑在同一批固定样本上：提示压缩省 19.72% 成本却丢掉 13.33% 的事实探针；结果缓存省 52.99% 现金成本但误命中 7 次；小模型省 75% 成本而质量降 3.59%；批处理省 8.60% 却把单条延迟推到 58 分钟。
《互联网产品的 AI 架构·推理性能与成本工程》10.1 基线、假设与实验设计
三项优化一起上线，账单降了三成，却无法回答每一项贡献多少。本节把基线、可判定假设、单变量对照、样本量与统计窗口写成可执行的设计门禁，用 63 条样本量的推导说明何时该说样本不够，并演示辛普森悖论：每个分段都更便宜，整体反而更贵。附 6 项设计门禁测试。
《互联网产品的 AI 架构·推理性能与成本工程》9.3 账单对账与差异分析
财务发来的模型账单比内部账多 43,200 微元，团队却只回了一句“口径不同”。本节把差异拆成时间、舍入、价格版本、缓存口径、范围与未知六类，给出从规范化、匹配、分类到责任人闭环的对账流程，以及可直接贴进月报的差异解释模板，并用示例样本上的真实运行结果演示 42,200 微元如何被解释、1,000 微元如何进入待查。
《互联网产品的 AI 架构·推理性能与成本工程》9.2 多维归因方法
模型账单涨了 37%，按模型拆却发现每个模型都只涨了一点。本节先把成本格做成可精确相加的全外连接，再说明为什么租户、能力、模型、提示版本与路由五个视角不能相加，最后用示例样本上的量、结构、单价三因子分解，把差异落到提示改版与升级路由这两个可行动维度。
《互联网产品的 AI 架构·推理性能与成本工程》9.1 成本模型与隐形成本
「回声」的模型账单比 token 单价乘出来的数字高三成，团队却只盯着单价。本节把重试、缓存未命中、失败请求、空闲容量与跨区传输拆成可核对的实际成本与计划偏差，给出整数微元的成本模型、每千次成功请求口径，并用示例样本上的真实测试输出说明隐藏成本藏在哪里。
《互联网产品的 AI 架构·推理性能与成本工程》8.3 配额与预算的容量映射
大客户买了每天 20 亿 token 的配额，却在峰值把共享池挤满；另一个客户的预算只够撑 23 天，配额却看起来绰绰有余。本节把 token 配额、预算配额与并发配额分开，给出配额到峰值并发、预算到可购买 token 的两条换算链，并说明保底额度、共享池与超配比例怎样决定一个池子是否可行。
《互联网产品的 AI 架构·推理性能与成本工程》8.2 峰值、余量与弹性
平均利用率只有四成，周一上午却仍然超时。本节把峰值拆成观测峰值、持续峰值与计划峰值，说明余量比例该覆盖哪些误差，并用确定性模型计算冷启动期间的容量缺口、积压与排空时间；示例样本显示 90 秒冷启动会留下 450 个请求的积压，需要 180 秒才能排空。
《互联网产品的 AI 架构·推理性能与成本工程》8.1 从业务量到 token 需求
「回声」要为一季度做容量预算，营销只给日活与人均请求，财务只问 token 总量和峰值。本节把业务量拆成请求数、长度分布、重试系数与峰值系数，给出可代入的算式、缓存对配额与成本的不同影响，以及从峰值 RPS 到并发的 Little 定律实现；所有数字都标注为公式代入值或示例样本运行结果。
《互联网产品的 AI 架构·推理性能与成本工程》7.3 批处理调度与成本模型
12 万条作业在 06:00 没有关上窗口，团队却把半成品当成完整结果发布。本节用 12,000 条确定性到达样本比较批大小与等待窗口、限流与并发两个产能上限、单位成本随批大小的下降曲线，并给出错过窗口时的降级顺序、产能判据与可运行的成本模型。
《互联网产品的 AI 架构·推理性能与成本工程》7.2 分片、重试与幂等
12 万条质检作业在 63% 处崩溃，重跑后多付了 2,702,700 微元，还给客户重复发了邮件。本节说明分片键为何必须绑定业务条目而不是数组下标、重试预算为何要放在作业级共享池、幂等键与去重窗口如何覆盖崩溃重跑，以及部分失败时如何隔离毒条目而不是整批作废。
《互联网产品的 AI 架构·推理性能与成本工程》7.1 在线与离线的边界
「回声」把 12 万条会话质检塞进在线网关，结果抢走配额、重复计费、单条超时。本节用消费方式、时效、失败单位与容量四个判据划出在线与离线的边界，给出 242 条的盈亏平衡点、混合切分方法与可运行的 TypeScript 判定器，并说明离线为何不是低优先级在线。
《互联网产品的 AI 架构·推理性能与成本工程》6.3 模型级联与成本收益
40 条样本上，按 0.7375 盈亏平衡点级联总成本 7670 微元，比常驻大模型省 730，代价是准确率从 100% 降到 97.5%。本节推导阈值公式、量化误判成本，并给出三策略对比与阈值扫描方法，说明级联并非无条件更省，质量下限也会改变结论。
《互联网产品的 AI 架构·推理性能与成本工程》6.2 蒸馏与小模型替代
学生模型在 24 条分能力样本上保留 0.9638 的质量、只花 0.25 的成本，但代码评审能力掉到 0.8312，被单能力下限拦下并自动回退。本节给出教师-学生逐条验收、分能力验收集、替代判据与四类运行时回退条件，并说明整体指标为何会掩盖单能力塌陷。
《互联网产品的 AI 架构·推理性能与成本工程》6.1 量化的精度与延迟权衡
8 位量化在 24 条样本上把 P95 延迟降到 82.2%、成本降到 70.0%，平均质量只降 0.0299，但把财务抽取加进验收集后同一档位立刻被拒。本节给出配对评测、P05 与灾难性样本、能力准入规则、灰度回滚条件，并说明哪些能力根本不能量化。
《互联网产品的 AI 架构·推理性能与成本工程》5.3 缓存失效与一致性
为修 300 条过期结果，团队删掉 10,000 条缓存，重建成本 117.4 万微元；细粒度失效只要 6,300 微元。本节算清失效扩散、版本回滚、租户分区与误命中审计的成本，并用 8 项测试逐项复算失效、回滚与降级交互产生的每一张判定表。
《互联网产品的 AI 架构·推理性能与成本工程》5.2 缓存分层与容量
缓存从 64 条扩到 128 条，命中只从 50% 涨到 60%，每多 64 条容量的边际命中已从 45 次降到 24 次。本节用容量曲线、LRU/LFU/FIFO 对比与分层查找账，说明本地、共享、语义缓存各该放多少容量，以及怎样按能力选层。
《互联网产品的 AI 架构·推理性能与成本工程》5.1 结果缓存的经济性判据
命中率 57.5% 的示例样本里，仍有一个能力每 100 次请求净亏 578 微元。本节把命中率换成净收益公式，逐项拆开查找、存储、失效与误命中成本，给出可复算的盈亏平衡命中率与亏损判据，并用 7 项测试验证 600 条样本上的每一个数字。