《AI 产品的商业化·成本、毛利与收入运营》9.3 速率规则与升级引导

限流不是拒绝,而是把请求放进一条可解释的队列。本节用 Verba 免费层 60 分钟额度、0.0042 美元单分钟成本与 0.008 美元付费单价,拆出额度、速率、并发三层规则,给出拒绝时的重试时间、升级触发条件与文案结构,并用 110.07 美元付费毛利说明为什么误伤比放过更贵。

以下三家公司与全部数字均为教学假设,用于演示商业化计算,不代表任何真实企业。

限流不是拒绝,是排队

「限流」这个词容易让人想到 429 和「请求过多」。但对产品来说,限流的目标不是把客户挡在门外,而是让请求以可承受的速度进入系统,同时告诉客户什么时候可以再来。

这两件事的差别很大。拒绝只回答「不行」,排队回答「现在不行、多久之后行、怎样才能一直行」。前者把客户推向竞品,后者把客户推向升级。

Verba 的免费层每月 60 分钟,这个额度本身就是一种限流:它限制的是月度总量,不是瞬时速度。只有月度额度还不够,因为一个账户可以在几分钟内把 60 分钟全部用完,瞬间占满推理容量。所以免费层需要三层规则:月度额度、每分钟速率、并发上限。

三层规则分别回答三个问题:这个月还能用多少、这一分钟能发多少请求、同一时刻能跑几个任务。三层都通过,请求才被放行。

三层规则各管一件事

层回答的问题免费层参数拒绝后的动作
月度额度这个月还剩多少分钟60 分钟/月提示升级,下月重置
每分钟速率这一分钟能发多少请求5 个请求/分钟给出重试秒数
并发上限同一时刻能跑几个任务1 个并发排队或稍后重试

三层规则的参数性质不同。月度额度是商业参数,直接对应成本与收入;每分钟速率与并发上限是工程参数,保护系统稳定性。前者的依据是单位经济,后者的依据是容量与延迟。

这张表里的 5 个请求/分钟和 1 个并发是教学示例配置,不是事实表数字。它们的作用是演示规则结构,真实参数要按推理延迟、队列长度和供应商限流条款来定。

三层规则的检查顺序也很重要。先查月度额度,再查每分钟速率,最后查并发。顺序决定了客户看到哪条错误信息:一个额度已经用完的客户,不应该先看到「请求太快」,那会让他以为是临时问题,反复重试。

免费层的参数从成本与价格反推

免费额度的商业依据可以算出来。60 分钟对应的变动成本是:

60 × 0.0042 = 0.252 美元

同样 60 分钟按付费单价 0.008 美元/分钟折算,价值是:

60 × 0.008 = 0.48 美元

价值是成本的 1.9 倍(0.48 ÷ 0.252 = 1.9048)。这个倍数说明免费额度不是纯粹的成本,它是一份有标价的样品:公司花 0.252 美元,送出标价 0.48 美元的服务。

倍数不能太低,太低说明免费层在送成本;也不能太高,太高说明标价虚高,客户一旦对比付费账单就会发现。1.9 倍是一个相对温和的位置。

付费侧的平均用量可以反过来校准免费额度。Verba 的月度用量是 42,000,000 分钟,付费账户 1,450 个:

42,000,000 ÷ 1,450 = 28,965.5 分钟/账户/月

约 28,966 分钟。免费额度 60 分钟只占付费平均用量的 0.2%(60 ÷ 28,966 = 0.00207)。这个差距看起来很大,但它不是定价漏洞,而是自选择的结果:免费用户里大多数只是试用,付费用户里包含大量把转写接进生产流程的账户。

真正需要对齐的不是「免费额度 vs 付费平均」,而是「免费额度 vs 免费用户的真实需求」。Verba 免费户均实际用量是 42 分钟,额度 60 分钟,利用率 70.0%。这说明额度略高于平均需求,留了一点缓冲,但没有高到让大多数用户用不完。

用代码把三层规则写成一个判断

下面的实现把三层检查放在一个函数里,返回放行后的剩余额度,或者拒绝原因、重试时间与是否提示升级。

// file: src/ops/09-3-rate-rules.ts
// tier: L1
// verify: node --test test/ops/09-3-rate-rules.test.ts

// 速率规则:月度额度、每分钟速率、并发上限三层;拒绝要给出重试时间与升级路径。
export type Rule = {
  monthlyQuotaMinutes: number;
  perMinuteRequests: number;
  concurrentRequests: number;
};

export type Denial = {
  allowed: false;
  reason: "quota" | "rate" | "concurrency";
  retryAfterMs: number;
  upgrade: boolean;
};

export type Decision = { allowed: true; remainingMinutes: number } | Denial;

export const FREE_RULE: Rule = {
  monthlyQuotaMinutes: 60,
  perMinuteRequests: 5,
  concurrentRequests: 1,
};

/** 先查额度,再查速率,最后查并发;顺序决定客户看到哪条提示。 */
export function admit(
  rule: Rule,
  usedMinutes: number,
  requestMinutes: number,
  windowCount: number,
  concurrent: number,
): Decision {
  const remaining = rule.monthlyQuotaMinutes - usedMinutes;
  if (requestMinutes > remaining) {
    return { allowed: false, reason: "quota", retryAfterMs: 0, upgrade: true };
  }
  if (windowCount >= rule.perMinuteRequests) {
    return { allowed: false, reason: "rate", retryAfterMs: 60_000, upgrade: false };
  }
  if (concurrent >= rule.concurrentRequests) {
    return { allowed: false, reason: "concurrency", retryAfterMs: 1_000, upgrade: false };
  }
  return { allowed: true, remainingMinutes: remaining - requestMinutes };
}

/** 额度窗口按自然月重置,不按滚动 30 天,账单才可解释。 */
export function quotaResetAt(monthStartMs: number): number {
  const date = new Date(monthStartMs);
  return Date.UTC(date.getUTCFullYear(), date.getUTCMonth() + 1, 1);
}

/** 用量达到额度 80% 且连续两个月如此,才提示升级。 */
export function shouldSuggestUpgrade(usedBps: number, monthsAtCap: number): boolean {
  return usedBps >= 8_000 && monthsAtCap >= 2;
}

/** 同样分钟数在付费档的账单,美分;单价按 micro-USD 传入。 */
export function paidCostCents(minutes: number, unitPriceMicros: number): number {
  return Math.round((minutes * unitPriceMicros) / 10_000);
}

/** 免费额度按付费单价折算的价值,美分。 */
export function freeQuotaValueCents(quotaMinutes: number, unitPriceMicros: number): number {
  return paidCostCents(quotaMinutes, unitPriceMicros);
}

admit 的返回类型把「放行」和「拒绝」分开,拒绝时一定带 reason、retryAfterMs 和 upgrade。这三个字段对应客户需要的三条信息:为什么被拒、多久后可以重试、要不要升级。

额度拒绝的 retryAfterMs 是 0,因为重试没有意义,要等到下月重置。quotaResetAt 按自然月计算重置时间,不按滚动 30 天。自然月对客户更好解释,对账也更简单:每月 1 日额度归零,账单周期和额度周期一致。

速率拒绝的 retryAfterMs 是 60,000 毫秒,并发拒绝是 1,000 毫秒。两个数都是示例值,真实值应该由窗口长度和任务平均耗时决定。关键是拒绝必须给出一个具体的等待时间,而不是让客户自己猜。

shouldSuggestUpgrade 把升级提示限制在两个条件同时满足时:用量达到额度的 80%,且连续两个月如此。80% 对应 48 分钟,连续两个月是为了排除偶发的高峰。单月用满可能是项目制的一次性需求,连续两个月才说明用量是结构性的。

拒绝必须告诉客户下一步

同样是被限流,两种提示带来的结果完全不同。

第一种是「429 Too Many Requests」。客户不知道发生了什么,只能反复重试,重试又加重限流,最后放弃。

第二种是「你本月 60 分钟已用完,将于 12 月 1 日重置;升级到按量付费可立即继续,单价 0.008 美元/分钟」。客户知道原因、知道时间、知道出口。

第二种提示包含四个要素:当前状态、重置时间、升级路径、升级后的价格。四个要素缺一个,客户就会去别处找答案,而答案通常在竞品那里。

速率拒绝的提示要更短,因为客户还在操作中。可以写成「请求过快,请在 12 秒后重试;当前限制 5 个请求/分钟」。给出具体秒数,比「稍后再试」有用得多。

并发拒绝的提示要说明是否排队。如果产品支持队列,就告诉客户「已进入队列,预计 8 秒后开始」;如果不支持队列,就明确说「同一时间只能运行 1 个任务,请等待当前任务完成」。模糊的提示会让客户重复提交,反而加剧并发。

升级引导的三个触发条件

升级引导不能只在额度用完时出现。额度用完是一个滞后的信号,客户已经受挫,转化率最低。更好的做法是在三个更早的时点触发。

第一个时点是额度使用达到 80%。60 分钟的 80% 是 48 分钟。如果客户在月中就用掉 48 分钟,说明本月大概率会用完。这时提示升级,客户还有时间比较价格,而不是被突然中断。

第二个时点是连续两个月用满。单月用满可能是项目制需求,连续两个月说明用量稳定。这时客户的付费意愿最强,因为他已经体验过两次中断。

第三个时点是并发拒绝频繁出现。客户频繁触发并发上限,说明他的工作流需要并行处理,而免费层的 1 个并发满足不了。这时的升级理由不是「额度不够」,而是「速度不够」,对应的应该是更高并发的档位,而不是更多分钟数。

三个触发点对应三种升级理由:额度、稳定性、速度。文案不能混用。对一个被并发限制的客户说「你的分钟数不够」,他会觉得产品没看懂他的问题。

为什么误伤比放过更贵

限流一定会误伤。关键是要知道误伤的代价,才能定阈值。

Verba 的付费账户 ARPA 是 231.72 美元,毛利率 47.5%,每个付费账户每月毛利:

231.72 × 0.475 = 110.07 美元

一个免费账户如果因为限流体验太差而流失,损失的不是 0.252 美元的推理成本,而是它可能带来的 110.07 美元月毛利。两者相差约 437 倍(110.07 ÷ 0.252 = 436.8)。

这个比例决定了限流的设计倾向:宁可让少量滥用者多跑一会儿,也不要把正常客户的体验打穿。 免费层的成本上限只有 2,016 美元/月(8,000 账户 × 60 分钟 × 0.0042),相当于 18.3 个付费账户的月毛利(2,016 ÷ 110.07 = 18.32)。限流只要让 19 个本可转化的客户流失,损失就超过整个免费层的月度成本上限。

所以限流的阈值应该偏松,拒绝的动作应该偏软。能用排队解决的,不要用拒绝;能用降速解决的,不要用封禁;能在月中提示的,不要等到月底中断。

这不意味着放弃防御。它意味着防御的重点应该放在「高频、批量、明显异常」的行为上,而不是把每一个接近额度的正常客户都当成滥用者。

升级文案要回答三个问题

升级引导的文案不需要煽情,但必须回答三个问题:我现在缺什么、升级后能得到什么、要花多少钱。

第一个问题关于现状。「你本月已使用 48 分钟,剩余 12 分钟」比「额度即将用完」具体。客户知道还剩多少,才能判断要不要现在升级。

第二个问题关于增量。「升级后每分钟 0.008 美元,按当前用量每月约 28,966 分钟」把升级后的用量和费用连起来。但要注意,28,966 分钟是付费账户的平均值,不是这个客户的预测值。更准确的做法是用客户自己的近三个月用量做外推,并注明这是估算。

第三个问题关于价格。「按当前用量估算,每月约 231.72 美元」直接给出账单预期。很多升级文案只写单价,不写总价,客户无法判断自己会不会被账单吓到。把总价写出来,转化率可能下降,但续费率会上升。

文案还要有一个「不升级也行」的出口。比如「你也可以等到 12 月 1 日额度重置后继续使用免费额度」。给客户选择,比制造紧迫感更可持续。免费层的目的不是逼单,而是让客户在需要的时候自然地升级。

规则要版本化,也要有例外

速率规则是产品的一部分,会随容量、成本与竞争变化。规则必须版本化,否则一次调整会影响所有历史账单的解释。

版本化至少要做三件事。第一,每条规则有生效时间,账单按调用时刻匹配规则,不按出账时刻。第二,规则变更要有记录,谁改的、为什么改、影响了哪些客户。第三,变更前要通知受影响的大客户,尤其是会触发降速或额度变化的调整。

例外同样重要。企业客户、战略客户、正在做 POC 的客户,可能需要临时提高并发或额度。例外不能靠人工在数据库里改,否则无法审计。更合理的做法是给账户打一个例外标签,标签有到期时间、审批人和理由,规则引擎在匹配时优先读取标签。

例外也要有成本上限。一个例外账户如果用超了,成本仍然要记到某个科目上,不能因为「是例外」就消失在报表里。

从免费到付费的坡道

免费层、限流、升级引导三件事合起来,构成一条从免费到付费的坡道。坡道的设计目标不是让客户尽快撞墙,而是让客户在用量增长时自然地发现付费档更合适。

坡道的第一段是免费额度。60 分钟足够完成一次小项目,但不足以支撑日常使用。第二段是限流提示,它在客户接近额度时出现,而不是在中断时出现。第三段是升级路径,它给出单价、总价与不升级的选项。第四段是付费后的体验,额度、速率、并发都提升,客户感到升级是值得的。

Verba 的免费到付费转化上限是 18.1%(1,450 ÷ 8,000 = 0.18125)。这个数不能直接当转化率用,但它说明坡道是通的:每 100 个免费账户里,最多有 18 个付费账户。坡道要做的不是把这个比例推到 100%,而是让愿意付费的客户不要因为一次限流而离开。

坡道的尽头不是「所有人都付费」,而是「需要更多用量的客户知道该去哪里付费,不需要的客户可以继续免费用」。免费层的成本只占收入 0.4%,公司完全承受得起一批长期不付费的用户。真正承受不起的,是把潜在付费客户在第一次限流时就推走。

小结

  • 限流的目标是排队而不是拒绝,拒绝要告诉客户原因、重试时间与升级路径。
  • 免费层需要三层规则:月度额度 60 分钟、每分钟速率、并发上限,分别管总量、瞬时速度与同时任务数。
  • 60 分钟免费额度的成本是 0.252 美元,按付费单价折算价值 0.48 美元,价值是成本的 1.9 倍。
  • 付费账户平均每月 28,966 分钟,免费额度只占 0.2%,差距来自自选择而不是定价漏洞。
  • 拒绝返回三个字段:原因、重试时间、是否提示升级;额度拒绝的重试时间是 0,因为要等下月重置。
  • 升级引导应在用量 80%、连续两个月用满、并发频繁被拒三个时点触发,分别对应额度、稳定性与速度。
  • 误封一个未来付费账户损失每月 110.07 美元毛利,是单个免费账户成本的约 437 倍,限流阈值应偏松。
  • 规则要版本化、可审计,例外要有标签、到期时间与成本归属。

阅读导航:上一节:9.2 滥用模式:批量注册、转售、爬取 · 下一节:10.1 收入仪表盘:MRR、用量、毛利 。

常见错误与边界

  • 只做月度额度,不做速率与并发限制,客户可以在几分钟内耗尽额度并占满容量。
  • 拒绝时只返回 429,不说明原因、重试时间与升级路径,客户只能反复重试或直接离开。
  • 额度按滚动 30 天重置,账单周期按自然月,两个周期不一致,客户无法对账。
  • 升级提示只在额度用完时出现,客户已经中断,转化率最低。
  • 对所有接近额度的账户都降速,误伤正常客户,损失的是每月 110.07 美元的潜在毛利。
  • 规则变更不留版本与生效时间,历史账单无法解释,客户争议时拿不出依据。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图