以下三家公司与全部数字均为教学假设,用于演示商业化计算,不代表任何真实企业。
限流不是拒绝,是排队
「限流」这个词容易让人想到 429 和「请求过多」。但对产品来说,限流的目标不是把客户挡在门外,而是让请求以可承受的速度进入系统,同时告诉客户什么时候可以再来。
这两件事的差别很大。拒绝只回答「不行」,排队回答「现在不行、多久之后行、怎样才能一直行」。前者把客户推向竞品,后者把客户推向升级。
Verba 的免费层每月 60 分钟,这个额度本身就是一种限流:它限制的是月度总量,不是瞬时速度。只有月度额度还不够,因为一个账户可以在几分钟内把 60 分钟全部用完,瞬间占满推理容量。所以免费层需要三层规则:月度额度、每分钟速率、并发上限。
三层规则分别回答三个问题:这个月还能用多少、这一分钟能发多少请求、同一时刻能跑几个任务。三层都通过,请求才被放行。
三层规则各管一件事
| 层 | 回答的问题 | 免费层参数 | 拒绝后的动作 |
|---|---|---|---|
| 月度额度 | 这个月还剩多少分钟 | 60 分钟/月 | 提示升级,下月重置 |
| 每分钟速率 | 这一分钟能发多少请求 | 5 个请求/分钟 | 给出重试秒数 |
| 并发上限 | 同一时刻能跑几个任务 | 1 个并发 | 排队或稍后重试 |
三层规则的参数性质不同。月度额度是商业参数,直接对应成本与收入;每分钟速率与并发上限是工程参数,保护系统稳定性。前者的依据是单位经济,后者的依据是容量与延迟。
这张表里的 5 个请求/分钟和 1 个并发是教学示例配置,不是事实表数字。它们的作用是演示规则结构,真实参数要按推理延迟、队列长度和供应商限流条款来定。
三层规则的检查顺序也很重要。先查月度额度,再查每分钟速率,最后查并发。顺序决定了客户看到哪条错误信息:一个额度已经用完的客户,不应该先看到「请求太快」,那会让他以为是临时问题,反复重试。
免费层的参数从成本与价格反推
免费额度的商业依据可以算出来。60 分钟对应的变动成本是:
60 × 0.0042 = 0.252 美元
同样 60 分钟按付费单价 0.008 美元/分钟折算,价值是:
60 × 0.008 = 0.48 美元
价值是成本的 1.9 倍(0.48 ÷ 0.252 = 1.9048)。这个倍数说明免费额度不是纯粹的成本,它是一份有标价的样品:公司花 0.252 美元,送出标价 0.48 美元的服务。
倍数不能太低,太低说明免费层在送成本;也不能太高,太高说明标价虚高,客户一旦对比付费账单就会发现。1.9 倍是一个相对温和的位置。
付费侧的平均用量可以反过来校准免费额度。Verba 的月度用量是 42,000,000 分钟,付费账户 1,450 个:
42,000,000 ÷ 1,450 = 28,965.5 分钟/账户/月
约 28,966 分钟。免费额度 60 分钟只占付费平均用量的 0.2%(60 ÷ 28,966 = 0.00207)。这个差距看起来很大,但它不是定价漏洞,而是自选择的结果:免费用户里大多数只是试用,付费用户里包含大量把转写接进生产流程的账户。
真正需要对齐的不是「免费额度 vs 付费平均」,而是「免费额度 vs 免费用户的真实需求」。Verba 免费户均实际用量是 42 分钟,额度 60 分钟,利用率 70.0%。这说明额度略高于平均需求,留了一点缓冲,但没有高到让大多数用户用不完。
用代码把三层规则写成一个判断
下面的实现把三层检查放在一个函数里,返回放行后的剩余额度,或者拒绝原因、重试时间与是否提示升级。
// file: src/ops/09-3-rate-rules.ts
// tier: L1
// verify: node --test test/ops/09-3-rate-rules.test.ts
// 速率规则:月度额度、每分钟速率、并发上限三层;拒绝要给出重试时间与升级路径。
export type Rule = {
monthlyQuotaMinutes: number;
perMinuteRequests: number;
concurrentRequests: number;
};
export type Denial = {
allowed: false;
reason: "quota" | "rate" | "concurrency";
retryAfterMs: number;
upgrade: boolean;
};
export type Decision = { allowed: true; remainingMinutes: number } | Denial;
export const FREE_RULE: Rule = {
monthlyQuotaMinutes: 60,
perMinuteRequests: 5,
concurrentRequests: 1,
};
/** 先查额度,再查速率,最后查并发;顺序决定客户看到哪条提示。 */
export function admit(
rule: Rule,
usedMinutes: number,
requestMinutes: number,
windowCount: number,
concurrent: number,
): Decision {
const remaining = rule.monthlyQuotaMinutes - usedMinutes;
if (requestMinutes > remaining) {
return { allowed: false, reason: "quota", retryAfterMs: 0, upgrade: true };
}
if (windowCount >= rule.perMinuteRequests) {
return { allowed: false, reason: "rate", retryAfterMs: 60_000, upgrade: false };
}
if (concurrent >= rule.concurrentRequests) {
return { allowed: false, reason: "concurrency", retryAfterMs: 1_000, upgrade: false };
}
return { allowed: true, remainingMinutes: remaining - requestMinutes };
}
/** 额度窗口按自然月重置,不按滚动 30 天,账单才可解释。 */
export function quotaResetAt(monthStartMs: number): number {
const date = new Date(monthStartMs);
return Date.UTC(date.getUTCFullYear(), date.getUTCMonth() + 1, 1);
}
/** 用量达到额度 80% 且连续两个月如此,才提示升级。 */
export function shouldSuggestUpgrade(usedBps: number, monthsAtCap: number): boolean {
return usedBps >= 8_000 && monthsAtCap >= 2;
}
/** 同样分钟数在付费档的账单,美分;单价按 micro-USD 传入。 */
export function paidCostCents(minutes: number, unitPriceMicros: number): number {
return Math.round((minutes * unitPriceMicros) / 10_000);
}
/** 免费额度按付费单价折算的价值,美分。 */
export function freeQuotaValueCents(quotaMinutes: number, unitPriceMicros: number): number {
return paidCostCents(quotaMinutes, unitPriceMicros);
}
admit 的返回类型把「放行」和「拒绝」分开,拒绝时一定带 reason、retryAfterMs 和 upgrade。这三个字段对应客户需要的三条信息:为什么被拒、多久后可以重试、要不要升级。
额度拒绝的 retryAfterMs 是 0,因为重试没有意义,要等到下月重置。quotaResetAt 按自然月计算重置时间,不按滚动 30 天。自然月对客户更好解释,对账也更简单:每月 1 日额度归零,账单周期和额度周期一致。
速率拒绝的 retryAfterMs 是 60,000 毫秒,并发拒绝是 1,000 毫秒。两个数都是示例值,真实值应该由窗口长度和任务平均耗时决定。关键是拒绝必须给出一个具体的等待时间,而不是让客户自己猜。
shouldSuggestUpgrade 把升级提示限制在两个条件同时满足时:用量达到额度的 80%,且连续两个月如此。80% 对应 48 分钟,连续两个月是为了排除偶发的高峰。单月用满可能是项目制的一次性需求,连续两个月才说明用量是结构性的。
拒绝必须告诉客户下一步
同样是被限流,两种提示带来的结果完全不同。
第一种是「429 Too Many Requests」。客户不知道发生了什么,只能反复重试,重试又加重限流,最后放弃。
第二种是「你本月 60 分钟已用完,将于 12 月 1 日重置;升级到按量付费可立即继续,单价 0.008 美元/分钟」。客户知道原因、知道时间、知道出口。
第二种提示包含四个要素:当前状态、重置时间、升级路径、升级后的价格。四个要素缺一个,客户就会去别处找答案,而答案通常在竞品那里。
速率拒绝的提示要更短,因为客户还在操作中。可以写成「请求过快,请在 12 秒后重试;当前限制 5 个请求/分钟」。给出具体秒数,比「稍后再试」有用得多。
并发拒绝的提示要说明是否排队。如果产品支持队列,就告诉客户「已进入队列,预计 8 秒后开始」;如果不支持队列,就明确说「同一时间只能运行 1 个任务,请等待当前任务完成」。模糊的提示会让客户重复提交,反而加剧并发。
升级引导的三个触发条件
升级引导不能只在额度用完时出现。额度用完是一个滞后的信号,客户已经受挫,转化率最低。更好的做法是在三个更早的时点触发。
第一个时点是额度使用达到 80%。60 分钟的 80% 是 48 分钟。如果客户在月中就用掉 48 分钟,说明本月大概率会用完。这时提示升级,客户还有时间比较价格,而不是被突然中断。
第二个时点是连续两个月用满。单月用满可能是项目制需求,连续两个月说明用量稳定。这时客户的付费意愿最强,因为他已经体验过两次中断。
第三个时点是并发拒绝频繁出现。客户频繁触发并发上限,说明他的工作流需要并行处理,而免费层的 1 个并发满足不了。这时的升级理由不是「额度不够」,而是「速度不够」,对应的应该是更高并发的档位,而不是更多分钟数。
三个触发点对应三种升级理由:额度、稳定性、速度。文案不能混用。对一个被并发限制的客户说「你的分钟数不够」,他会觉得产品没看懂他的问题。
为什么误伤比放过更贵
限流一定会误伤。关键是要知道误伤的代价,才能定阈值。
Verba 的付费账户 ARPA 是 231.72 美元,毛利率 47.5%,每个付费账户每月毛利:
231.72 × 0.475 = 110.07 美元
一个免费账户如果因为限流体验太差而流失,损失的不是 0.252 美元的推理成本,而是它可能带来的 110.07 美元月毛利。两者相差约 437 倍(110.07 ÷ 0.252 = 436.8)。
这个比例决定了限流的设计倾向:宁可让少量滥用者多跑一会儿,也不要把正常客户的体验打穿。 免费层的成本上限只有 2,016 美元/月(8,000 账户 × 60 分钟 × 0.0042),相当于 18.3 个付费账户的月毛利(2,016 ÷ 110.07 = 18.32)。限流只要让 19 个本可转化的客户流失,损失就超过整个免费层的月度成本上限。
所以限流的阈值应该偏松,拒绝的动作应该偏软。能用排队解决的,不要用拒绝;能用降速解决的,不要用封禁;能在月中提示的,不要等到月底中断。
这不意味着放弃防御。它意味着防御的重点应该放在「高频、批量、明显异常」的行为上,而不是把每一个接近额度的正常客户都当成滥用者。
升级文案要回答三个问题
升级引导的文案不需要煽情,但必须回答三个问题:我现在缺什么、升级后能得到什么、要花多少钱。
第一个问题关于现状。「你本月已使用 48 分钟,剩余 12 分钟」比「额度即将用完」具体。客户知道还剩多少,才能判断要不要现在升级。
第二个问题关于增量。「升级后每分钟 0.008 美元,按当前用量每月约 28,966 分钟」把升级后的用量和费用连起来。但要注意,28,966 分钟是付费账户的平均值,不是这个客户的预测值。更准确的做法是用客户自己的近三个月用量做外推,并注明这是估算。
第三个问题关于价格。「按当前用量估算,每月约 231.72 美元」直接给出账单预期。很多升级文案只写单价,不写总价,客户无法判断自己会不会被账单吓到。把总价写出来,转化率可能下降,但续费率会上升。
文案还要有一个「不升级也行」的出口。比如「你也可以等到 12 月 1 日额度重置后继续使用免费额度」。给客户选择,比制造紧迫感更可持续。免费层的目的不是逼单,而是让客户在需要的时候自然地升级。
规则要版本化,也要有例外
速率规则是产品的一部分,会随容量、成本与竞争变化。规则必须版本化,否则一次调整会影响所有历史账单的解释。
版本化至少要做三件事。第一,每条规则有生效时间,账单按调用时刻匹配规则,不按出账时刻。第二,规则变更要有记录,谁改的、为什么改、影响了哪些客户。第三,变更前要通知受影响的大客户,尤其是会触发降速或额度变化的调整。
例外同样重要。企业客户、战略客户、正在做 POC 的客户,可能需要临时提高并发或额度。例外不能靠人工在数据库里改,否则无法审计。更合理的做法是给账户打一个例外标签,标签有到期时间、审批人和理由,规则引擎在匹配时优先读取标签。
例外也要有成本上限。一个例外账户如果用超了,成本仍然要记到某个科目上,不能因为「是例外」就消失在报表里。
从免费到付费的坡道
免费层、限流、升级引导三件事合起来,构成一条从免费到付费的坡道。坡道的设计目标不是让客户尽快撞墙,而是让客户在用量增长时自然地发现付费档更合适。
坡道的第一段是免费额度。60 分钟足够完成一次小项目,但不足以支撑日常使用。第二段是限流提示,它在客户接近额度时出现,而不是在中断时出现。第三段是升级路径,它给出单价、总价与不升级的选项。第四段是付费后的体验,额度、速率、并发都提升,客户感到升级是值得的。
Verba 的免费到付费转化上限是 18.1%(1,450 ÷ 8,000 = 0.18125)。这个数不能直接当转化率用,但它说明坡道是通的:每 100 个免费账户里,最多有 18 个付费账户。坡道要做的不是把这个比例推到 100%,而是让愿意付费的客户不要因为一次限流而离开。
坡道的尽头不是「所有人都付费」,而是「需要更多用量的客户知道该去哪里付费,不需要的客户可以继续免费用」。免费层的成本只占收入 0.4%,公司完全承受得起一批长期不付费的用户。真正承受不起的,是把潜在付费客户在第一次限流时就推走。
小结
- 限流的目标是排队而不是拒绝,拒绝要告诉客户原因、重试时间与升级路径。
- 免费层需要三层规则:月度额度 60 分钟、每分钟速率、并发上限,分别管总量、瞬时速度与同时任务数。
- 60 分钟免费额度的成本是 0.252 美元,按付费单价折算价值 0.48 美元,价值是成本的 1.9 倍。
- 付费账户平均每月 28,966 分钟,免费额度只占 0.2%,差距来自自选择而不是定价漏洞。
- 拒绝返回三个字段:原因、重试时间、是否提示升级;额度拒绝的重试时间是 0,因为要等下月重置。
- 升级引导应在用量 80%、连续两个月用满、并发频繁被拒三个时点触发,分别对应额度、稳定性与速度。
- 误封一个未来付费账户损失每月 110.07 美元毛利,是单个免费账户成本的约 437 倍,限流阈值应偏松。
- 规则要版本化、可审计,例外要有标签、到期时间与成本归属。
阅读导航:上一节:9.2 滥用模式:批量注册、转售、爬取 · 下一节:10.1 收入仪表盘:MRR、用量、毛利 。
常见错误与边界
- 只做月度额度,不做速率与并发限制,客户可以在几分钟内耗尽额度并占满容量。
- 拒绝时只返回 429,不说明原因、重试时间与升级路径,客户只能反复重试或直接离开。
- 额度按滚动 30 天重置,账单周期按自然月,两个周期不一致,客户无法对账。
- 升级提示只在额度用完时出现,客户已经中断,转化率最低。
- 对所有接近额度的账户都降速,误伤正常客户,损失的是每月 110.07 美元的潜在毛利。
- 规则变更不留版本与生效时间,历史账单无法解释,客户争议时拿不出依据。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。