posts
《互联网产品的 AI 架构·推理性能与成本工程》 · 已发布章节索引（45 篇）
《互联网产品的 AI 架构·推理性能与成本工程》全 45 篇：13 章正文覆盖延迟与吞吐度量、调度与并发、上下文与输出、缓存与压缩替代、离线批处理、容量规划、成本归因、对照实验、质量联合门禁与规模化稳定性；附序、前言、目录与三篇附录，配可运行的 TypeScript 实验工程。
全书 45 篇：13 章正文 + 序、前言、目录 + 附录 A/B/C。每节配可运行的 TypeScript 代码，代码块用 // file: / // tier: / // verify: 标注，可在实验工程中逐字节还原。
本页是卷二的完整索引。可以从目录与学习路径
按顺序通读，也可以按问题跳读。
全书概览
| 项目 | 内容 |
|---|
| 书稿 | 《互联网产品的 AI 架构》卷二 |
| 已发布篇数 | 45 篇（含目录与附录） |
| 主线语言 | TypeScript（Node 26 原生类型剥离，零第三方依赖） |
| 贯穿案例 | 内容社区 + IM + 轻交易「回声」 |
| 阅读方式 | 目录篇顺序通读，或按章节表跳读 |
| 上级专题 | 书稿专题 |
前置
| 篇 | 文章 | 核心内容 |
|---|
| 序 | 序 | 从一张超支账单讲起，拆解成本失控的五个放大器与三份预算，交代两卷分工与数字来源。 |
| 前言 | 前言 | 13 章结构、src/perf 模块地图、三级可运行性、代码块约定、阅读节奏与自检清单。 |
| 目录 | 目录 | 13 章 39 节、三条阅读路径、十二个问题、每章产出物与实验工程说明。 |
第 1 章 推理性能的度量口径
第 2 章 请求调度与并发控制
| 节 | 文章 | 核心内容 |
|---|
| 2.1 | 2.1 队列、优先级与准入 | 从「回声」早高峰的排队投诉出发，讨论有界队列、优先级老化与准入判据：为什么无限排队会把过载伪装成延迟… |
| 2.2 | 2.2 并发上限与背压 | 从一次「把并发调大就好了」的线上误判出发，说明并发上限如何用 Little 定律与目标利用率推导、信… |
| 2.3 | 2.3 多租户公平调度 | 从「回声」大客户挤占小客户容量的投诉出发，讨论多租户共享推理容量时的加权公平队列、饥饿防护、租户配额… |
第 3 章 上下文与 token 经济
| 节 | 文章 | 核心内容 |
|---|
| 3.1 | 3.1 上下文窗口的成本结构 | 从「回声」一次账单翻三倍的扩容说起，拆解输入 token 的四类来源、历史每轮重发带来的近似二次增长… |
| 3.2 | 3.2 前缀缓存与提示结构 | 同样的提示内容只调整块顺序，可缓存前缀从 594 token 变成 1,354 token，百次请求… |
| 3.3 | 3.3 上下文压缩与检索裁剪 | 21 条检索、历史与工具片段压缩到 9 条，输入 token 从 767 降到 415，但一次去掉保… |
第 4 章 输出控制与生成长度
| 节 | 文章 | 核心内容 |
|---|
| 4.1 | 4.1 输出上限与停止条件 | 「回声」客服的工单建议在 max_tokens 边界被截成半截 JSON，另一个能力又因上限过大把长… |
| 4.2 | 4.2 流式输出的提前终止 | 用户在第 1.2 秒切走私信页，模型也可能在答案已经足够确定时继续生成。本节区分用户取消、置信度停止… |
| 4.3 | 4.3 生成长度的非线性成本 | 会话摘要的 P50 是 805 token，P99 却到 1193 token，前 5% 的长请求吃… |
第 5 章 缓存体系与复用
| 节 | 文章 | 核心内容 |
|---|
| 5.1 | 5.1 结果缓存的经济性判据 | 命中率 57.5% 的示例样本里，仍有一个能力每 100 次请求净亏 578 微元。本节把命中率换成… |
| 5.2 | 5.2 缓存分层与容量 | 缓存从 64 条扩到 128 条，命中只从 50% 涨到 60%，每多 64 条容量的边际命中已从 … |
| 5.3 | 5.3 缓存失效与一致性 | 为修 300 条过期结果，团队删掉 10,000 条缓存，重建成本 117.4 万微元；细粒度失效只… |
第 6 章 模型压缩与替代
| 节 | 文章 | 核心内容 |
|---|
| 6.1 | 6.1 量化的精度与延迟权衡 | 8 位量化在 24 条样本上把 P95 延迟降到 82.2%、成本降到 70.0%，平均质量只降 0… |
| 6.2 | 6.2 蒸馏与小模型替代 | 学生模型在 24 条分能力样本上保留 0.9638 的质量、只花 0.25 的成本，但代码评审能力掉… |
| 6.3 | 6.3 模型级联与成本收益 | 40 条样本上，按 0.7375 盈亏平衡点级联总成本 7670 微元，比常驻大模型省 730，代价… |
第 7 章 离线批处理
| 节 | 文章 | 核心内容 |
|---|
| 7.1 | 7.1 在线与离线的边界 | 「回声」把 12 万条会话质检塞进在线网关，结果抢走配额、重复计费、单条超时。本节用消费方式、时效、… |
| 7.2 | 7.2 分片、重试与幂等 | 12 万条质检作业在 63% 处崩溃，重跑后多付了 2,702,700 微元，还给客户重复发了邮件。… |
| 7.3 | 7.3 批处理调度与成本模型 | 12 万条作业在 06:00 没有关上窗口，团队却把半成品当成完整结果发布。本节用 12,000 条… |
第 8 章 容量规划
第 9 章 成本归因与计量
| 节 | 文章 | 核心内容 |
|---|
| 9.1 | 9.1 成本模型与隐形成本 | 「回声」的模型账单比 token 单价乘出来的数字高三成，团队却只盯着单价。本节把重试、缓存未命中、… |
| 9.2 | 9.2 多维归因方法 | 模型账单涨了 37%，按模型拆却发现每个模型都只涨了一点。本节先把成本格做成可精确相加的全外连接，再… |
| 9.3 | 9.3 账单对账与差异分析 | 财务发来的模型账单比内部账多 43,200 微元，团队却只回了一句“口径不同”。本节把差异拆成时间、… |
第 10 章 成本优化实验
| 节 | 文章 | 核心内容 |
|---|
| 10.1 | 10.1 基线、假设与实验设计 | 三项优化一起上线，账单降了三成，却无法回答每一项贡献多少。本节把基线、可判定假设、单变量对照、样本量… |
| 10.2 | 10.2 四组对照实验 | 四组对照跑在同一批固定样本上：提示压缩省 19.72% 成本却丢掉 13.33% 的事实探针；结果缓… |
| 10.3 | 10.3 结果解读与回归风险 | 成本显著下降不等于可以发布：批处理每条只省 17.54 微元却把延迟推到 58 分钟，缓存的质量回退… |
第 11 章 质量与成本的联合优化
第 12 章 规模化下的稳定性
| 节 | 文章 | 核心内容 |
|---|
| 12.1 | 12.1 供应商限流与分流 | 「回声」的主供应商在区域高峰返回 429，网关把重试铺到三家供应商，流量放大到 1.7 倍，备胎也被… |
| 12.2 | 12.2 降级链的成本约束 | 「回声」的主模型超时后，降级链先重试三次，再切到单次价格三倍的更大模型，最后用规则给出答案：一次十微… |
| 12.3 | 12.3 一次成本失控的复盘 | 一次持续 25 分钟的 429 故障没有打挂任何请求，却让「回声」的推理成本变成基线的 4.85 倍… |
第 13 章 卷二收口
| 节 | 文章 | 核心内容 |
|---|
| 13.1 | 13.1 推理成本基线 | 把第 1、8、9、11 章的延迟、容量、成本与质量口径合成一份可复算的推理成本基线：用 240 条确… |
| 13.2 | 13.2 优化方案与 ADR | 拿到 13.1 的成本基线后，用架构决策记录在三个候选方案之间做取舍：稳定前缀缓存、经济档替代与输出… |
| 13.3 | 13.3 进入卷三 | 单能力优化收口之后，三个能力串成一条工作流会带来四类新成本：跨能力调用、上下文复用、结果传递与失败传… |
附录
实验工程
ai-lab 在卷一基础上新增 src/perf/：metrics、scheduling、context、output、cache-econ、compress、batch、capacity、cost、experiment、quality、stability、baseline 等模块。全部零第三方依赖，每个模块配 node --test 用例；书稿代码块与源文件逐字节一致。
上一卷与下一卷
上一卷《模型接入与能力边界》回答“边界在哪”：契约、网关、路由、预算、降级与观测。
卷三将讨论多个 AI 能力如何协同完成复杂任务：跨能力调用、上下文与结果传递、失败传播、编排与成本叠加。卷二建立的度量、归因与门禁，是卷三编排实验的输入。