https://plumephp.com/posts/books/%E4%BA%92%E8%81%94%E7%BD%91%E4%BA%A7%E5%93%81%E7%9A%84ai%E6%9E%B6%E6%9E%84%E6%8E%A8%E7%90%86%E6%80%A7%E8%83%BD%E4%B8%8E%E6%88%90%E6%9C%AC%E5%B7%A5%E7%A8%8B/Recent content in 《互联网产品的 AI 架构·推理性能与成本工程》 · 已发布章节索引（45 篇） on PlumePHPHugozh-CNThu, 05 Nov 2026 11:00:00 +0800https://plumephp.com/inet-ai-perf-13-3-into-volume-3/Thu, 05 Nov 2026 11:00:00 +0800https://plumephp.com/inet-ai-perf-13-3-into-volume-3/单能力优化收口之后，三个能力串成一条工作流会带来四类新成本：跨能力调用、上下文复用、结果传递与失败传播。本节用可复算的三能力场景跑出交接税、成功概率与回本复用率，并给卷三留下三个必须回答的编排问题，并附上可运行的 TypeScript 模块。https://plumephp.com/inet-ai-perf-13-2-optimization-adr/Thu, 05 Nov 2026 10:00:00 +0800https://plumephp.com/inet-ai-perf-13-2-optimization-adr/拿到 13.1 的成本基线后，用架构决策记录在三个候选方案之间做取舍：稳定前缀缓存、经济档替代与输出上限，分别说明预期收益、质量代价、证据门槛、回退条件与退出条件，并给出可直接运行的 TypeScript 决策函数与可逐条复核的示例样本结果。https://plumephp.com/inet-ai-perf-12-3-cost-incident/Thu, 05 Nov 2026 09:00:00 +0800https://plumephp.com/inet-ai-perf-12-3-cost-incident/一次持续 25 分钟的 429 故障没有打挂任何请求，却让「回声」的推理成本变成基线的 4.85 倍。本节按分钟还原时间线，把成本倍数拆成尝试放大 1.90 倍与单价放大 2.55 倍，给出根因、三道修复闸门与可校验的复盘模板，并用示例样本运行结果说明每个数字的来源。https://plumephp.com/inet-ai-perf-13-1-cost-baseline/Thu, 05 Nov 2026 09:00:00 +0800https://plumephp.com/inet-ai-perf-13-1-cost-baseline/把第 1、8、9、11 章的延迟、容量、成本与质量口径合成一份可复算的推理成本基线：用 240 条确定性样本说明指标怎么定义、样本如何按能力与模型档位分层、结论如何从证据推导，并给出可逐条运行的 TypeScript 报告模块与示例样本结果。https://plumephp.com/inet-ai-perf-12-2-degrade-cost/Thu, 05 Nov 2026 08:00:00 +0800https://plumephp.com/inet-ai-perf-12-2-degrade-cost/「回声」的主模型超时后，降级链先重试三次，再切到单次价格三倍的更大模型，最后用规则给出答案：一次十微元的规则结果花了七百九十微元。本节把成本单调性、重试上限、质量下限与四个退出条件写进降级链，并在示例样本上对比宽松与有界两种策略的真实运行结果。https://plumephp.com/inet-ai-perf-11-3-rollout-rollback/Thu, 05 Nov 2026 07:00:00 +0800https://plumephp.com/inet-ai-perf-11-3-rollout-rollback/新模型通过离线门禁后进入 5% 灰度，错误率从 1.00% 升到 2.12%，自动回滚在第二个窗口触发。本节说明灰度比例怎样按租户粘性分桶、硬指标与软指标为什么要不同回滚条件、样本不足为什么只能 hold，以及回滚后在途请求、缓存、幂等记录与下游写入怎样保持一致。https://plumephp.com/inet-ai-perf-12-1-provider-limits/Thu, 05 Nov 2026 07:00:00 +0800https://plumephp.com/inet-ai-perf-12-1-provider-limits/「回声」的主供应商在区域高峰返回 429，网关把重试铺到三家供应商，流量放大到 1.7 倍，备胎也被打到限流。本节把 429 冷却、本地配额池、确定性分流与全局重试预算放在一起，给出三种策略在 600 条示例请求上的运行结果，并说明怎样按卷一的能力分级决定隐藏、降级还是阻塞。https://plumephp.com/inet-ai-perf-11-2-eval-regression/Thu, 05 Nov 2026 06:00:00 +0800https://plumephp.com/inet-ai-perf-11-2-eval-regression/新模型把整体通过率做到和基线一模一样，却在长中文与对抗样本两个分层明显退步。本节说明评测集怎样按能力与难度分层、抽样为什么必须确定性、阈值为什么要看 Wilson 下界与配对 bootstrap 区间，并给出一个能逐项复算的回归门禁模块与示例样本运行结果。https://plumephp.com/inet-ai-perf-11-1-quality-cost-latency/Thu, 05 Nov 2026 05:00:00 +0800https://plumephp.com/inet-ai-perf-11-1-quality-cost-latency/「回声」要在八个能力上同时选模型，加权总分却把取舍藏成一个数字。本节把质量、成本与延迟放回三维坐标，用支配关系求 Pareto 前沿，区分被支配区域与真正不可兼得的边界，再按能力护栏与边际成本选点；文中给出可运行的前沿模块与示例样本运行结果，说明最贵的不一定最好、最便宜的也不一定够用。https://plumephp.com/inet-ai-perf-10-3-result-interpretation/Wed, 04 Nov 2026 23:00:00 +0800https://plumephp.com/inet-ai-perf-10-3-result-interpretation/成本显著下降不等于可以发布：批处理每条只省 17.54 微元却把延迟推到 58 分钟，缓存的质量回退在 12 次比较后不再显著。本节用置信区间、效应量、质量回退形态与外推风险，逐组判断四组实验哪些能上线、哪些只能留作探索，并附 7 项判定测试。https://plumephp.com/inet-ai-perf-appendix-c-review/Wed, 04 Nov 2026 22:40:00 +0800https://plumephp.com/inet-ai-perf-appendix-c-review/把卷二的判断压缩成一份可打印的成本优化评审清单：度量口径、基线、调度、上下文、输出、缓存、替代、离线、容量、归因、实验、联合门禁与稳定性共十三组六十五问，每组附通过判据与常见驳回理由，末页给出四十五分钟评审流程、结论模板、上线后复盘表与三个常见误区。https://plumephp.com/inet-ai-perf-appendix-b-formulas/Wed, 04 Nov 2026 22:20:00 +0800https://plumephp.com/inet-ai-perf-appendix-b-formulas/把卷二用到的算式集中成可直接代入的速查：token 成本、重试放大、缓存净收益、批处理盈亏平衡、级联阈值、容量换算、配额映射、归因分解与量化收益估算；每个公式给出变量含义、代入示例、适用边界与对应章节，并附常见误用、口径提醒与一张十分钟估算表。https://plumephp.com/inet-ai-perf-10-2-four-experiments/Wed, 04 Nov 2026 22:00:00 +0800https://plumephp.com/inet-ai-perf-10-2-four-experiments/四组对照跑在同一批固定样本上：提示压缩省 19.72% 成本却丢掉 13.33% 的事实探针；结果缓存省 52.99% 现金成本但误命中 7 次；小模型省 75% 成本而质量降 3.59%；批处理省 8.60% 却把单条延迟推到 58 分钟。https://plumephp.com/inet-ai-perf-appendix-a-metrics/Wed, 04 Nov 2026 22:00:00 +0800https://plumephp.com/inet-ai-perf-appendix-a-metrics/把卷二反复使用的指标压缩成一页可查的定义表：TTFT、TPOT、端到端延迟、吞吐、goodput、并发、缓存命中率、重试率、降级率、单次成本、单位 token 成本与归因维度；每个指标给出定义、算式、分母、常见误读与对应章节，并附一张团队口径对齐模板。https://plumephp.com/inet-ai-perf-10-1-experiment-design/Wed, 04 Nov 2026 21:00:00 +0800https://plumephp.com/inet-ai-perf-10-1-experiment-design/三项优化一起上线，账单降了三成，却无法回答每一项贡献多少。本节把基线、可判定假设、单变量对照、样本量与统计窗口写成可执行的设计门禁，用 63 条样本量的推导说明何时该说样本不够，并演示辛普森悖论：每个分段都更便宜，整体反而更贵。附 6 项设计门禁测试。https://plumephp.com/inet-ai-perf-09-3-billing-reconciliation/Wed, 04 Nov 2026 20:00:00 +0800https://plumephp.com/inet-ai-perf-09-3-billing-reconciliation/财务发来的模型账单比内部账多 43,200 微元，团队却只回了一句“口径不同”。本节把差异拆成时间、舍入、价格版本、缓存口径、范围与未知六类，给出从规范化、匹配、分类到责任人闭环的对账流程，以及可直接贴进月报的差异解释模板，并用示例样本上的真实运行结果演示 42,200 微元如何被解释、1,000 微元如何进入待查。https://plumephp.com/inet-ai-perf-09-2-attribution/Wed, 04 Nov 2026 19:00:00 +0800https://plumephp.com/inet-ai-perf-09-2-attribution/模型账单涨了 37%，按模型拆却发现每个模型都只涨了一点。本节先把成本格做成可精确相加的全外连接，再说明为什么租户、能力、模型、提示版本与路由五个视角不能相加，最后用示例样本上的量、结构、单价三因子分解，把差异落到提示改版与升级路由这两个可行动维度。https://plumephp.com/inet-ai-perf-09-1-cost-model/Wed, 04 Nov 2026 18:00:00 +0800https://plumephp.com/inet-ai-perf-09-1-cost-model/「回声」的模型账单比 token 单价乘出来的数字高三成，团队却只盯着单价。本节把重试、缓存未命中、失败请求、空闲容量与跨区传输拆成可核对的实际成本与计划偏差，给出整数微元的成本模型、每千次成功请求口径，并用示例样本上的真实测试输出说明隐藏成本藏在哪里。https://plumephp.com/inet-ai-perf-08-3-quota-capacity/Wed, 04 Nov 2026 17:00:00 +0800https://plumephp.com/inet-ai-perf-08-3-quota-capacity/大客户买了每天 20 亿 token 的配额，却在峰值把共享池挤满；另一个客户的预算只够撑 23 天，配额却看起来绰绰有余。本节把 token 配额、预算配额与并发配额分开，给出配额到峰值并发、预算到可购买 token 的两条换算链，并说明保底额度、共享池与超配比例怎样决定一个池子是否可行。https://plumephp.com/inet-ai-perf-08-2-peak-headroom/Wed, 04 Nov 2026 16:00:00 +0800https://plumephp.com/inet-ai-perf-08-2-peak-headroom/平均利用率只有四成，周一上午却仍然超时。本节把峰值拆成观测峰值、持续峰值与计划峰值，说明余量比例该覆盖哪些误差，并用确定性模型计算冷启动期间的容量缺口、积压与排空时间；示例样本显示 90 秒冷启动会留下 450 个请求的积压，需要 180 秒才能排空。https://plumephp.com/inet-ai-perf-08-1-demand-to-tokens/Wed, 04 Nov 2026 15:00:00 +0800https://plumephp.com/inet-ai-perf-08-1-demand-to-tokens/「回声」要为一季度做容量预算，营销只给日活与人均请求，财务只问 token 总量和峰值。本节把业务量拆成请求数、长度分布、重试系数与峰值系数，给出可代入的算式、缓存对配额与成本的不同影响，以及从峰值 RPS 到并发的 Little 定律实现；所有数字都标注为公式代入值或示例样本运行结果。https://plumephp.com/inet-ai-perf-07-3-batch-scheduling/Wed, 04 Nov 2026 14:00:00 +0800https://plumephp.com/inet-ai-perf-07-3-batch-scheduling/12 万条作业在 06:00 没有关上窗口，团队却把半成品当成完整结果发布。本节用 12,000 条确定性到达样本比较批大小与等待窗口、限流与并发两个产能上限、单位成本随批大小的下降曲线，并给出错过窗口时的降级顺序、产能判据与可运行的成本模型。https://plumephp.com/inet-ai-perf-07-2-shard-retry-idempotency/Wed, 04 Nov 2026 13:00:00 +0800https://plumephp.com/inet-ai-perf-07-2-shard-retry-idempotency/12 万条质检作业在 63% 处崩溃，重跑后多付了 2,702,700 微元，还给客户重复发了邮件。本节说明分片键为何必须绑定业务条目而不是数组下标、重试预算为何要放在作业级共享池、幂等键与去重窗口如何覆盖崩溃重跑，以及部分失败时如何隔离毒条目而不是整批作废。https://plumephp.com/inet-ai-perf-07-1-online-vs-offline/Wed, 04 Nov 2026 12:00:00 +0800https://plumephp.com/inet-ai-perf-07-1-online-vs-offline/「回声」把 12 万条会话质检塞进在线网关，结果抢走配额、重复计费、单条超时。本节用消费方式、时效、失败单位与容量四个判据划出在线与离线的边界，给出 242 条的盈亏平衡点、混合切分方法与可运行的 TypeScript 判定器，并说明离线为何不是低优先级在线。https://plumephp.com/inet-ai-perf-06-3-model-cascade/Wed, 04 Nov 2026 11:00:00 +0800https://plumephp.com/inet-ai-perf-06-3-model-cascade/40 条样本上，按 0.7375 盈亏平衡点级联总成本 7670 微元，比常驻大模型省 730，代价是准确率从 100% 降到 97.5%。本节推导阈值公式、量化误判成本，并给出三策略对比与阈值扫描方法，说明级联并非无条件更省，质量下限也会改变结论。https://plumephp.com/inet-ai-perf-06-2-distillation/Wed, 04 Nov 2026 10:00:00 +0800https://plumephp.com/inet-ai-perf-06-2-distillation/学生模型在 24 条分能力样本上保留 0.9638 的质量、只花 0.25 的成本，但代码评审能力掉到 0.8312，被单能力下限拦下并自动回退。本节给出教师-学生逐条验收、分能力验收集、替代判据与四类运行时回退条件，并说明整体指标为何会掩盖单能力塌陷。https://plumephp.com/inet-ai-perf-06-1-quantization/Wed, 04 Nov 2026 09:00:00 +0800https://plumephp.com/inet-ai-perf-06-1-quantization/8 位量化在 24 条样本上把 P95 延迟降到 82.2%、成本降到 70.0%，平均质量只降 0.0299，但把财务抽取加进验收集后同一档位立刻被拒。本节给出配对评测、P05 与灾难性样本、能力准入规则、灰度回滚条件，并说明哪些能力根本不能量化。https://plumephp.com/inet-ai-perf-05-3-cache-invalidation/Tue, 03 Nov 2026 23:00:00 +0800https://plumephp.com/inet-ai-perf-05-3-cache-invalidation/为修 300 条过期结果，团队删掉 10,000 条缓存，重建成本 117.4 万微元；细粒度失效只要 6,300 微元。本节算清失效扩散、版本回滚、租户分区与误命中审计的成本，并用 8 项测试逐项复算失效、回滚与降级交互产生的每一张判定表。https://plumephp.com/inet-ai-perf-05-2-cache-tiers/Tue, 03 Nov 2026 22:00:00 +0800https://plumephp.com/inet-ai-perf-05-2-cache-tiers/缓存从 64 条扩到 128 条，命中只从 50% 涨到 60%，每多 64 条容量的边际命中已从 45 次降到 24 次。本节用容量曲线、LRU/LFU/FIFO 对比与分层查找账，说明本地、共享、语义缓存各该放多少容量，以及怎样按能力选层。https://plumephp.com/inet-ai-perf-05-1-result-cache-economics/Tue, 03 Nov 2026 21:00:00 +0800https://plumephp.com/inet-ai-perf-05-1-result-cache-economics/命中率 57.5% 的示例样本里，仍有一个能力每 100 次请求净亏 578 微元。本节把命中率换成净收益公式，逐项拆开查找、存储、失效与误命中成本，给出可复算的盈亏平衡命中率与亏损判据，并用 7 项测试验证 600 条样本上的每一个数字。https://plumephp.com/inet-ai-perf-04-3-length-cost/Tue, 03 Nov 2026 20:00:00 +0800https://plumephp.com/inet-ai-perf-04-3-length-cost/会话摘要的 P50 是 805 token，P99 却到 1193 token，前 5% 的长请求吃掉两成输出预算。本节用 200 条确定性样本说明长度分布、分位数与长尾占比怎么算，给出延迟与期望成本曲线、按能力设长度目标和截断上限的收益试算，并用 node --test 的真实输出验证每一个数字。https://plumephp.com/inet-ai-perf-04-2-stream-early-stop/Tue, 03 Nov 2026 19:00:00 +0800https://plumephp.com/inet-ai-perf-04-2-stream-early-stop/用户在第 1.2 秒切走私信页，模型也可能在答案已经足够确定时继续生成。本节区分用户取消、置信度停止与预算耗尽三种提前终止，给出期望成本、盈亏平衡置信度与首帧后不重试的决策代码，并用 node --test 与 200 条示例样本的真实运行结果说明省下的 token 与赔掉的重问成本。https://plumephp.com/inet-ai-perf-04-1-output-limits/Tue, 03 Nov 2026 18:00:00 +0800https://plumephp.com/inet-ai-perf-04-1-output-limits/「回声」客服的工单建议在 max_tokens 边界被截成半截 JSON，另一个能力又因上限过大把长回复的成本推高。本节把输出预算拆成目标、余量与闭包三段，给出 max_tokens 计算、跨增量块的停止序列扫描与截断分类的 TypeScript 实现，并用 node --test 的真实输出验证每一种截断的可用性与重试判断。https://plumephp.com/inet-ai-perf-03-3-context-compression/Tue, 03 Nov 2026 17:00:00 +0800https://plumephp.com/inet-ai-perf-03-3-context-compression/21 条检索、历史与工具片段压缩到 9 条，输入 token 从 767 降到 415，但一次去掉保护标记的实验丢掉了退款单号、金额与时效三个事实。本节给出压缩流水线、逐步丢弃原因与事实探针验收，说明怎样在省钱的同时证明关键信息没有丢。文中数字均为示例样本运行结果。https://plumephp.com/inet-ai-perf-03-2-prefix-cache/Tue, 03 Nov 2026 16:00:00 +0800https://plumephp.com/inet-ai-perf-03-2-prefix-cache/同样的提示内容只调整块顺序，可缓存前缀从 594 token 变成 1,354 token，百次请求的输入成本从 29,300 微元降到 12,200 微元。本节说明前缀缓存的命中条件、失效边界与“可缓存形状”，并给出可运行的前缀分析模块与示例样本运行结果。https://plumephp.com/inet-ai-perf-03-1-context-cost/Tue, 03 Nov 2026 15:00:00 +0800https://plumephp.com/inet-ai-perf-03-1-context-cost/从「回声」一次账单翻三倍的扩容说起，拆解输入 token 的四类来源、历史每轮重发带来的近似二次增长，以及上下文长度对成本与首字延迟的不同曲线；文中给出可运行的 TypeScript 统计模块、示例样本上的运行结果，并说明它与卷一上下文预算的分工。https://plumephp.com/inet-ai-perf-02-3-fair-scheduling/Tue, 03 Nov 2026 14:00:00 +0800https://plumephp.com/inet-ai-perf-02-3-fair-scheduling/从「回声」大客户挤占小客户容量的投诉出发，讨论多租户共享推理容量时的加权公平队列、饥饿防护、租户配额与突发额度。文中给出可运行的 TypeScript WFQ 与令牌桶模块，并在三租户确定性样本上给出无防护与 200ms 防护两种配置的真实运行结果，说明公平份额与最坏等待之间的取舍。https://plumephp.com/inet-ai-perf-02-2-concurrency-backpressure/Tue, 03 Nov 2026 13:00:00 +0800https://plumephp.com/inet-ai-perf-02-2-concurrency-backpressure/从一次「把并发调大就好了」的线上误判出发，说明并发上限如何用 Little 定律与目标利用率推导、信号量如何限制在途请求、背压如何向上游传播，以及降级与拒绝的本质区别。文中给出可运行的 TypeScript 信号量与压力决策模块，并在 240 条固定样本上对比无界队列、有界拒绝与降级三种策略的真实运行结果。https://plumephp.com/inet-ai-perf-02-1-queue-priority/Tue, 03 Nov 2026 12:00:00 +0800https://plumephp.com/inet-ai-perf-02-1-queue-priority/从「回声」早高峰的排队投诉出发，讨论有界队列、优先级老化与准入判据：为什么无限排队会把过载伪装成延迟，为什么纯优先级会让批量任务饿死，以及怎样用预估等待时间在入口直接拒绝。文中给出可运行的 TypeScript 队列与准入模块，并在 90 条确定性样本上比较 FIFO、优先级与老化三种顺序的真实运行结果。https://plumephp.com/inet-ai-perf-01-3-load-model-baseline/Tue, 03 Nov 2026 11:00:00 +0800https://plumephp.com/inet-ai-perf-01-3-load-model-baseline/三份来自不同团队的压测报告往往无法比较，因为负载模型不同。本文用确定性 mock 推理器构造稳定、突发、长尾三种负载，产出一份不含时间戳、带指纹、可逐字段比对的基线报告，并给出把它当回归门禁的阈值与取舍；所有数字均为示例样本上的运行结果，不是生产实测。https://plumephp.com/inet-ai-perf-01-2-throughput-goodput/Tue, 03 Nov 2026 10:00:00 +0800https://plumephp.com/inet-ai-perf-01-2-throughput-goodput/看板写着 40 QPS，用户却在超时：吞吐、并发与有效吞吐回答的是三个不同问题。本文给出 goodput 的 SLO 与窗口口径，用确定性批调度器展示并发饱和、批处理对 p95 的影响，以及吞吐几乎不变而 goodput 从 100% 跌到 28% 的取舍。https://plumephp.com/inet-ai-perf-01-1-latency-metrics/Tue, 03 Nov 2026 09:00:00 +0800https://plumephp.com/inet-ai-perf-01-1-latency-metrics/从用户只看到「转圈很久」的投诉出发，把流式推理拆成首字、单 token 与端到端三段：排队、冷启动、预填充各占多少，TTFT、ITL、TPOT 与 E2E 如何互相约束，预算为什么必须逐项签而不是取平均；附可逐条断言的 TypeScript 时间线模块与示例样本上的运行结果。https://plumephp.com/inet-ai-perf-toc/Mon, 02 Nov 2026 21:00:00 +0800https://plumephp.com/inet-ai-perf-toc/卷二《推理性能与成本工程》全目录：13 章 39 节，从延迟与吞吐的度量出发，经调度、上下文、输出、缓存、压缩替代、离线批处理、容量、归因、对照实验，走到质量联合优化、规模化稳定性与收口；附三条阅读路径、章节产出物与读完应能回答的十二个问题。https://plumephp.com/inet-ai-perf-preface/Mon, 02 Nov 2026 20:30:00 +0800https://plumephp.com/inet-ai-perf-preface/前言交代卷二的结构与用法：13 章如何从度量走到优化与收口，ai-lab 的 src/perf 模块地图，三级可运行性与代码块约定，数字口径与版本边界，章间依赖与三条阅读路径，以及每章留给团队的练习和自检清单，并说明哪些结论不能直接搬到生产。https://plumephp.com/inet-ai-perf-foreword/Mon, 02 Nov 2026 20:00:00 +0800https://plumephp.com/inet-ai-perf-foreword/卷一回答了 AI 能力的边界在哪，卷二回答同样边界下怎样更便宜更快。这篇序从一次账单超支讲起，说明为什么性能与成本必须一起设计，拆解成本失控的五个放大器与三份预算，交代两卷的分工、实验工程 ai-lab 的延续方式、数字来源，以及卷二明确不承诺的事情。