《互联网产品的 AI 架构·平台化与治理》6.1 线上质量信号与抽检
线上质量不能只看满意度均分。本节把点赞、采纳、转人工、重复提问与投诉定义成五类可计量的信号,给出按请求数归一、按能力与租户切分的口径,并用可运行代码计算抽检样本量、Wilson 置信区间与分层配额,最后说明小样本为何必须合并发布、为什么只能报区间。
category
线上质量不能只看满意度均分。本节把点赞、采纳、转人工、重复提问与投诉定义成五类可计量的信号,给出按请求数归一、按能力与租户切分的口径,并用可运行代码计算抽检样本量、Wilson 置信区间与分层配额,最后说明小样本为何必须合并发布、为什么只能报区间。
审批疲劳不是用户懒,而是审批密度超过了人的判断能力。本节给出审批密度的量化方法,说明「同意率 99%」为什么是危险信号,用 C Runner 的 8% 抽检、12 分钟复核算出 0.96 分钟与 6,336 美元的审计成本,并给出限额、抽样、事后审计三种替代审批的方案。
人工评审不是抽检的补充,而是语义边界与新型失败的唯一入口。本节定义高风险全检、常规按比例的分层抽样,作者与利益冲突过滤的双盲派单,48 小时分歧仲裁,以及用金标样本做评审员校准的阈值,并给出示例样本上的抽检、仲裁与校准结果,评审记录还会回流到评测集版本。
门禁要回答三件事:哪些改动必须拦、样本要多少、证据留多久。本节把门禁分为提交级、发布级与模型换代级,逐级给出指标阈值、样本下限、豁免窗口与证据留存,并用可运行代码在示例样本上演示缺失即失败、硬指标不可豁免、证据包可复现的判定过程,并把结论写入治理报表。
评测集一旦被多个团队共用,版本、来源与污染就会变成治理问题。本节定义评测集的三段版本、人工/线上/合成三层来源与配额、训练与调优语料的污染检查、90 天更新节奏,并用可运行代码在示例样本上给出 0 个结构错误、1 次主版本升级与 3 条污染命中的判定结果。
A 休 14 天的现金成本是 1,656.62 美元,runway 从 11.0 降到 10.52 个月;B 休 7 天成本 704.69 美元,C 休 14 天成本 1,857.38 美元。本节把停手分成完全停、最低维持、只停增长三档,算清休假成本、睡眠债与恢复节奏,并给出可运行的 TypeScript 模型。
技术 IP 尽调查五件事:代码归属、开源许可证、第三方依赖、域名账号与数据合规。LedgerLite 的 AGPL 合规成本 85,672、重写 20,400;Tidecast 的美术重制 30,240、回购最高 60,480。本节把修复成本换算成价格折让与 escrow 缺口,说明标准 10% 托管为什么不够。
试点失败是漏斗的常态:ClinicQueue 11 个试点有 5 个不转正,沉没 3,575 美元;ChartKit 410 个试用有 313 个零转化,按人工口径沉没 5,634 美元。本文按范围、使用、技术、赞助人、预算五类原因给出救、缩、等、关四种处置,并给出复盘与回收的计算方法。
采购周期不是销售周期的同义词,安全审查往往是最长的一段。以三家教学公司的 6、3、11 周审查周期为轴,把延迟确认的收入与毛利折成机会成本,再拆开 85,000、60,000、120,000 美元的年度合规成本,给出五角色决策链、阶段推进动作与三种常见失败。
低峰借用、高峰归还是额度治理里最容易口头约定、最难回收的一环。本节定义借用的四个前置条件与到期、高峰、强制三级回收顺序,用回声的 1,000 万借用示例跑出债务 500 万的回收结果,并给出缓存键、向量命名空间、日志与限流的租户隔离校验,并说明借用协议应写入的治理流程。
配额只回答「能不能花」,公平性回答「资源紧张时先给谁」。本节给出租户、团队、任务价值三层判据,用价值权重压住基础优先级造成的反转,用有上限的老化与强制位防止低价值任务饿死,并在 20,000 微元容量上跑出一轮可复核的调度顺序,并说明公平性验收的四个可计算指标。
渠道结算单与内部订单账很少天然一致。《潮汐消消》内购月流水约 609 万元、《潮汐方舟》约 2,730 万元,按苹果 30%、Google Play 30%、国内安卓平均 40%、TapTap 15% 分成,本节用订单级匹配、差异分类和收入确认门禁,说明流水、结算净额与可确认收入之间的差额从哪里来。
多租户配额不是把预算除以人数。本节把租户总额、团队份额、单次上限拆成三层账本,定义统一的微元计量、固定扣减顺序与拒绝、降档、排队三种超限行为,并用回声的 1 亿、4,000 万、6,200 微元示例跑出可复核的拒绝位置与剩余额度,并给出配额变更的审批边界。
五个能力乘三个模型代际就是十五个格子,再加上提示与评测集,矩阵会迅速失控。本节给出 active、dual-run、deprecated、retired 四态与收敛动作,用可运行代码计算 15 格到 5 格的关闭清单,并把公告、双跑、强制下线与调用方扫描写成可判定的窗口流程。
《互联网产品的 AI 架构·平台化与治理》全 45 篇:13 章正文覆盖治理对象与职责、能力目录与所有权、版本兼容、多租户配额、评测平台、质量与成本运营、合规与安全治理、平台工程、组织流程与长期演进;附序、前言、目录与三篇附录,配可运行的 TypeScript 实验工程。
模型换代、提示改版、评测集换版如果各发各的,契约版本不变而行为已经变了。本节把三者绑成「能力版本」三元组,给出七种变化组合的联动规则、原子回滚矩阵与确定性测试,并说明提供方、调用方与平台各自该签什么字、如何用评测证据约束版本发布,以及迁移窗口内怎样保持基线可比。
契约版本治理要回答三件事:哪些变更兼容、版本号怎么升、灰度怎么退。本节按输入、输出、错误码与行为四个面列出十类变更的兼容判定,用可运行代码计算所需版本位、拦截版本号作弊,并给出 9 项变更、7 项不兼容的示例结果、灰度举证方式与多团队发布流程。
退役不是删除目录条目,而是一次跨团队迁移项目。本节把退役拆成公告、双跑、下线三个阶段,定义 90 天公告期、30 天双跑窗口与强制下线的四项判据,用确定性状态机校验日期顺序、迁移工具、调用方迁移率与残余流量,并给出示例样本上 5 个调用方从 100% 迁移到 1.1% 残余的判定结果。
能力条目只写了提供方的一半承诺。本节把契约拆成提供方承诺与调用方义务:输入约束、配额、重试、缓存键与反馈渠道,并规定可覆盖参数的责任归属。用确定性代码校验三个月度配额共 1 亿微元、单次上限 6,200/4,200/3,000 的调用方契约,给出 11 个违约码与两个覆盖参数的归属判定。
卷三 11.3 给出了能力目录的七个字段,但没有回答字段如何被机器校验。本节把条目扩展为十一个最小字段,定义标识、契约、默认档位、可覆盖参数、失败语义、计费单位、SLA、下游依赖与退役日期的 schema,用确定性代码检查缺字段、契约错配、依赖环和退役顺序,并逐条说明缺字段在调用、计费、迁移中的后果。