《互联网产品的 AI 架构·推理性能与成本工程》2.3 多租户公平调度
从「回声」大客户挤占小客户容量的投诉出发,讨论多租户共享推理容量时的加权公平队列、饥饿防护、租户配额与突发额度。文中给出可运行的 TypeScript WFQ 与令牌桶模块,并在三租户确定性样本上给出无防护与 200ms 防护两种配置的真实运行结果,说明公平份额与最坏等待之间的取舍。
category
从「回声」大客户挤占小客户容量的投诉出发,讨论多租户共享推理容量时的加权公平队列、饥饿防护、租户配额与突发额度。文中给出可运行的 TypeScript WFQ 与令牌桶模块,并在三租户确定性样本上给出无防护与 200ms 防护两种配置的真实运行结果,说明公平份额与最坏等待之间的取舍。
未用完的额度到底是客户的权利,还是供应商的负债?本节用 LumenDesk 1,920 个席位、960,000 次包含额度与 1,190,400 次实际用量,拆开过期、结转与共享三种规则,算清两个席位 300 与 940 次用量下 8 美元的池化收益,并给出组织级对账与收入确认的边界。
前五大客户占比只是一个入口。本节用 LedgerLite 的 9%/31%、Tidecast 的 Steam 74.7% 与 Nord Studio 的前三家 48%,拆开最大客户、前三大、前五大与 HHI 四个视角,给出四档阈值与对应动作,并说明集中度如何进入 Nord 的估值折价。
超额不是异常,而是额度设计的默认状态。本节用 LumenDesk 每席位 500 次额度、620 次平均用量与 1,450 次 P95 用量,对比硬停、软限与自动升级三种政策的账单、毛利与客户体验,并算清自动升级为何在现有阶梯下永远不会触发。
性能预算不是一句「要流畅」,而是帧预算、内存水位、启动时间与机型分档四组可校验的数字。本节把双案例的基线写成可运行校验:水位必须留出 20% 余量,30fps 与 60fps 的 Jank 率不能直接横比,低端机预算按 RAM 分档计算,并给出跨产品比较前的判断顺序。
LedgerLite 的 260 家客户不是一张平均脸:最大一家贡献 9%,前五家 31%,其余 255 家贡献 69%。本节把客户按收入分成三层,再按云、支付与支持成本重新摊分,比较收入份额与毛利份额的差异,并给出可运行的 tiers.ts 与分层动作。
额度按什么计量,决定了客户如何理解价格、系统如何防止套利。本节用 LumenDesk 每席位 500 次额度与 620 次实际用量,分别按请求、按 token、按结果计费,算出三种口径下的单位收入、超额费用与套利方向,并给出选择粒度的四条判断标准。
套餐组合改变的不只是客单价,还有收入结构。本节用 Nord Studio 的 $85 咨询与 $39 产品,计算加权单价 $64.30 和各线收入占比,并把 MRR 变化拆成价格效应、数量效应和结构效应,说明为什么同样增加 30 个客户,收入贡献可以差出 $759。
试用能不能赚钱,取决于漏斗每一段把多少试用成本摊到付费客户身上。本节先把账户、席位、案件三种口径对齐,用 Verba 的 8,000 个免费账户和 1,450 个付费账户算出 18.1% 的存量比,再推导 0.16% 的成本覆盖线与 0.042% 的 CAC 打平线,最后用 LTV/CAC 收口。
年付折扣不只是让利 15%。本节以 LedgerLite 的年付方案和 Tidecast 的渠道结构为例,算清等效月单价、提前收款、递延余额、支付费节省与真实资金成本,并给出折扣后维持净收入所需的销量增幅,以及年付客群需要换回的流失下降幅度。
从一次「把并发调大就好了」的线上误判出发,说明并发上限如何用 Little 定律与目标利用率推导、信号量如何限制在途请求、背压如何向上游传播,以及降级与拒绝的本质区别。文中给出可运行的 TypeScript 信号量与压力决策模块,并在 240 条固定样本上对比无界队列、有界拒绝与降级三种策略的真实运行结果。
试用把免费层的无限期负债压成一次性的获客成本,但前提是时间、额度、功能三个边界同时生效。本节用 ClausePilot 的 2,470 美元试用成本、LumenDesk 的 9.30 美元席位成本和 Verba 的 0.1764 美元账户成本,说明每个边界能封住多少支出,以及试用成本该如何并进 CAC。
涨价 15.6% 不等于收入涨 15.6%。本节用 LedgerLite 把 $77 提到 $89 的假设,拆出收入盈亏平衡流失率 13.5%、毛利盈亏平衡流失率 15.6%,再按 0 到 40 家客户流失做敏感性表,给出净 MRR、12 个月累计收入和价格弹性的可复算口径。
《裂隙战场》把赛区当成产品决策而不是机房清单:本文复盘北辰在延迟、赛事、观战与成本之间的四次让步,给出赛区候选打分、输入延迟预算、跨区判定、低峰赛区合并与六组表驱动测试的可运行 Go 实现,并说明如果重做一次,哪些跨区匹配会被直接放弃、哪些低峰成本不再摊薄。
免费层在传统 SaaS 里是获客资产,在 AI 产品里却是一笔随用量增长的变动成本负债。本节用 Verba API 的 8,000 个免费账户拆开额度上限与实际用量的差额,算出每月 1,411.20 美元的成本,再给出覆盖它所需的付费毛利与三个案例的免费层口径。
预算偏差不是好坏判断,而是方向、幅度和持续性的三件事。本节用 LedgerLite 的 Q1 新签缺口、Tidecast 的开发延期和 Nord Studio 的工时缺口,说明偏差率与绝对额两道阈值如何触发行动,以及滚动预测怎样把一次性波动和结构性变化分开。
直接问客户愿意付多少钱并不可靠。本节用 Van Westendorp 的四道题构造四条曲线,在一份 200 份教学问卷上算出 198.33 到 204.71 美元的可接受带,并与 ClausePilot 的 180 美元对照;随后说明选择实验如何把价格、SLA 与人工复核放进同一个取舍。
同样的收入下滑,对三家公司利润的打击完全不同,差别在于固定成本占多大比例。本节用 LedgerLite、Tidecast 与 Nord Studio 的成本行为划分,计算贡献毛益、保本点、经营杠杆和安全边际,并说明分类口径一旦换掉,结论会怎样变形。
价值锚把价格挂到客户节省的人时上。按每小时 70 美元计算,Verba 每月 4,200 万分钟对应 4,900 万美元人工价值,当前价格只捕获 0.69%;ClausePilot 的 180 美元要求每案件省下 154 分钟。本节给出捕获率公式、敏感性表和三条失效边界。
预算不是一张表,而是一次自上而下与自下而上的对账。本节用 LedgerLite 的年度四类计划、Tidecast 的一次性项目预算和 Nord Studio 的双轨预算,说明两套口径各自从哪里起步、在哪里打架、怎样把差额拆到可解释的科目,并给出一个可复算的预算代码模型。