《AI 产品的商业化·成本、毛利与收入运营》2.1 每次调用的成本模型

单次调用成本决定定价下限。本节把 LumenDesk 的一次对话拆成 1,800 输入 token、450 输出 token、检索、存储与支付五项,算出 0.0150 美元,再用 8% 重试率摊出 0.0163 美元的有效成本,并对照 Verba 的 0.0042 美元/分钟与 ClausePilot 的 65 美元/案件。

以下三家公司与全部数字均为教学假设,用于演示商业化计算,不代表任何真实企业。

单次成本是加法,不是供应商报价

月底收到的模型账单是一个总数:这个月调用了几百万次,扣了多少美元。这个总数可以用于付款,却不能直接用于定价。定价要回答的是另一个问题:多服务一个客户、多发生一次调用,成本会增加多少。

这两个问题的差别,在用量平稳时看不出来,在用量波动或客户分层时会被放大。账单总额除以调用次数得到的平均值,会把长尾客户的成本摊进平均值里,让人误以为每一次调用都差不多。单次成本模型的任务,就是把这个平均值重新拆开,还原成可以逐项检查的结构。

拆开之后,单次成本有三个用途。第一,它是定价的地板:任何低于单次变动成本的单价,卖得越多亏得越多。第二,它是毛利归因的起点:客户毛利、功能毛利、渠道毛利都要先有单位成本才能汇总。第三,它是异常检测的基线:当某个月的单位成本突然上升,可以顺着成本项定位是 token 变长、检索变多,还是重试率失控。

要拆开,先要确定「一次」是什么。LumenDesk 按对话计,Verba API 按分钟计,ClausePilot 按案件计。三个价值单位不同,成本结构也不同,不能拿一个案例的单次成本直接套到另一个案例上。

把一次对话拆成四项

LumenDesk 的平均一次对话是 1,800 个输入 token 加 450 个输出 token。输入单价 2.50 美元/百万 token,输出单价 10.00 美元/百万 token。两项分开算,再相加:

输入 token 成本 = 1,800 ÷ 1,000,000 × 2.50 = 0.0045 美元
输出 token 成本 = 450 ÷ 1,000,000 × 10.00 = 0.0045 美元
推理成本 = 0.0045 + 0.0045 = 0.0090 美元

推理之外还有三项。向量检索每次 0.0020 美元,存储每次 0.0010 美元,支付与第三方每次 0.0030 美元。四项相加,得到 LumenDesk 的单次变动成本 0.0150 美元。

成本项单次金额占 0.0150 的比例说明
模型推理0.0090 美元60.0%输入与输出 token 之和
向量检索0.0020 美元13.3%每次对话的召回与重排
存储0.0010 美元6.7%对话与向量索引的增量存储
支付与第三方0.0030 美元20.0%支付通道、日志与第三方服务
合计0.0150 美元100%变动成本,不含固定成本

这张表里最容易被误读的是「模型侧成本」。模型侧指推理、检索、存储三项之和,等于 0.0090 + 0.0020 + 0.0010 = 0.0120 美元,占单次成本的 80.0%。它不等于推理成本 0.0090 美元。正文后面凡是写「模型侧」,都指 0.0120 美元;凡是写「推理」,都只指 0.0090 美元。

代码:把加法写成可测试的函数

把上面的加法写进代码,目的不是替代财务,而是让每一次成本口径的修改都能被测试抓住。参数一旦变化,跑一遍测试就知道单次成本变成了多少。

// file: src/ops/02-1-per-call.ts
// tier: L1
// verify: node --test test/ops/02-1-per-call.test.ts

// 单次调用成本:token、检索、存储、支付逐项相加,再把重试摊回成功调用。

export type TokenPrice = {
  inputMicrosPerMillion: number;
  outputMicrosPerMillion: number;
};

export type CallShape = {
  inputTokens: number;
  outputTokens: number;
};

export type CallCost = {
  tokens: CallShape;
  price: TokenPrice;
  retrievalMicros: number;
  storageMicros: number;
  paymentMicros: number;
};

/** 一次调用的 token 成本,单位 micro-USD。 */
export function tokenCostMicros(shape: CallShape, price: TokenPrice): number {
  const input = (shape.inputTokens * price.inputMicrosPerMillion) / 1_000_000;
  const output = (shape.outputTokens * price.outputMicrosPerMillion) / 1_000_000;
  return Math.round(input + output);
}

/** 四项变动成本之和。 */
export function callCostMicros(cost: CallCost): number {
  return (
    tokenCostMicros(cost.tokens, cost.price) +
    cost.retrievalMicros +
    cost.storageMicros +
    cost.paymentMicros
  );
}

/** 有效单次成本:失败与重试也要付费,因此摊到成功调用上。 */
export function effectiveCostMicros(costMicros: number, retryRateBps: number): number {
  if (retryRateBps < 0 || retryRateBps >= 10_000) {
    throw new RangeError(`retryRateBps out of range: ${retryRateBps}`);
  }
  return Math.round((costMicros * 10_000) / (10_000 - retryRateBps));
}

/** 单项成本占单次成本的比例,单位基点。 */
export function shareBps(partMicros: number, totalMicros: number): number {
  if (totalMicros === 0) return 0;
  return Math.round((partMicros / totalMicros) * 10_000);
}

export const LUMENDESK_CALL: CallCost = {
  tokens: { inputTokens: 1_800, outputTokens: 450 },
  price: { inputMicrosPerMillion: 2_500_000, outputMicrosPerMillion: 10_000_000 },
  retrievalMicros: 2_000,
  storageMicros: 1_000,
  paymentMicros: 3_000,
};

export const LUMENDESK_RETRY_BPS = 800;
export const VERBA_MINUTE_COST_MICROS = 4_200;
export const VERBA_RETRY_BPS = 300;
export const CLAUSEPILOT_CASE_COST_MICROS = 65_000_000;
export const CLAUSEPILOT_RETRY_BPS = 1_100;

金额全部用 micro-USD 整数存储,1 美元等于 1,000,000 micro-USD。LumenDesk 的单次成本在代码里是 15,000 micro-USD,推理部分是 9,000 micro-USD,重试后是 16,304 micro-USD。用整数而不是浮点数,是为了让「0.0150 美元」这类值在累加几百万次之后仍然精确。

代码只做三件事:按 token 单价算推理,按四项算单次成本,按重试率算有效成本。三件事都可以单独测试,任何一项口径变化都会在测试里留下痕迹。

重试与失败:为成功的那一次付钱

客户按成功返回的对话付费,供应商按实际发生的调用付费。这两件事之间隔着重试。一次调用失败,系统重试,供应商收两次钱,客户只付一次。如果成本模型只算成功调用的成本,就会低估真实支出。

有效单次成本的公式是:

有效单次成本 = 单次成本 ÷ (1 − 重试率)

LumenDesk 的重试率是 8%,有效成本 = 0.0150 ÷ (1 − 0.08) = 0.0163 美元,比账面单次成本高 8.7%。ClausePilot 的重试率是 11%,有效成本 = 65 ÷ (1 − 0.11) = 73.03 美元,高 12.4%。Verba 的重试率是 3%,有效成本 = 0.0042 ÷ (1 − 0.03) = 0.00433 美元,高 3.1%。

案例账面单位成本重试率有效单位成本抬升幅度
LumenDesk0.0150 美元/次8%0.0163 美元/次8.7%
Verba API0.0042 美元/分钟3%0.00433 美元/分钟3.1%
ClausePilot65.00 美元/案件11%73.03 美元/案件12.4%

重试率越高的产品,账面成本与有效成本差得越远。ClausePilot 的 11% 重试率把单案件成本抬高了 8.03 美元,这个差额不会出现在任何一张「成功案件」的账单上,却真实发生在变动成本里。做毛利分析时必须用有效成本,否则会把一个本来只有 59.4% 的案件毛利算成 63.9%。

重试率还会随模型版本、提示词长度和输出格式变化。今天 8% 不代表下个月还是 8%。成本模型应该把重试率作为独立参数,而不是把它揉进一个固定的单次成本里。参数化的好处是,重试率上升时,毛利模型会自动跟着变,不需要手工改一张又一张表。

模型侧成本与推理成本是两个口径

前文的 0.0120 与 0.0090 只差 0.0030 美元,在单次成本里却代表两个不同的口径。混用会带来两种相反的错误。

第一种错误,把推理成本 0.0090 当成全部变动成本。这样会漏掉检索、存储和支付合计 0.0060 美元,低估幅度是 0.0060 ÷ 0.0150 = 40.0%。用这个数去定价,单价看起来覆盖了成本,实际每卖一次都在补贴。

第二种错误,把模型侧成本 0.0120 当成推理成本。这样会把检索与存储 0.0030 美元塞进推理项,高估推理 0.0030 ÷ 0.0090 = 33.3%。做供应商谈判时,这个错误会让你以为推理是最大的可压缩项,从而把精力放错地方。

正确做法是固定一套科目,每个科目只允许一个定义。LumenDesk 的科目是四项:推理、检索、存储、支付与第三方。对外汇报时,可以说「模型侧占 80.0%」,但不能把「模型侧」和「推理」当成同义词。

单位不同,模型不能照搬

三家公司的价值单位不同,单次成本的构成也不同。把三家放在一张表里,是为了看结构,不是为了比较绝对值。

案例价值单位单位成本构成
LumenDesk一次对话推理 0.0090 + 检索 0.0020 + 存储 0.0010 + 支付 0.0030 = 0.0150 美元
Verba API一分钟音频推理 0.0035 + 存储 0.0004 + 支付与基础设施 0.0003 = 0.0042 美元
ClausePilot一个案件推理 22.00 + 人工复核 35.00 + 平台 8.00 = 65.00 美元

ClausePilot 的 22 美元推理成本需要再拆一层:平均每个案件 80 次调用,单次调用 0.19 美元,合计 15.20 美元;OCR 与文档存储 6.80 美元;两项相加正好 22.00 美元。这里的 0.19 美元是纯推理单价,不含 OCR 与存储;如果用 22 ÷ 80 = 0.275 美元去和 LumenDesk 的 0.0150 美元比较,就把两个不同的口径放在了一起。

Verba 的 0.0042 美元/分钟看起来比 LumenDesk 的 0.0150 美元/次低很多,但两者的价值单位不同,不能直接说 Verba 更便宜。Verba 一分钟音频可能对应几分钟的对话,LumenDesk 一次对话可能只值几秒钟的语音。比较成本应该比较「完成同一个任务需要多少个价值单位」,而不是比较单位价格。

固定成本不进入单次变动成本

单次变动成本只回答「多一次调用多花多少钱」,它不包含人力、办公、合规认证、研发这些不随调用次数变化的支出。这不是遗漏,而是口径选择:毛利率的分子只减变动成本,固定成本留到回本周期与现金流模型里处理。

如果硬要把固定成本摊进单次成本,公式是:

完全成本单次 = 变动单次成本 + 月度固定成本 ÷ 月度成功调用量

这个数在两种场景下有用。第一,长期定价下限:当产能长期闲置时,只覆盖变动成本的单价无法养活公司。第二,专属部署报价:为一个客户单独部署的固定投入,应该单独计入这个客户的报价,而不是摊到全体客户身上。

但完全成本不能拿来算毛利率。把固定成本摊进单次成本再算毛利,会得到一个既不是贡献毛利、也不是净利的中间数,横向比较时没有意义。正确做法是两列并排:一列是变动单次成本,用于毛利;一列是完全单次成本,用于长期定价与专属报价。两列都保留,但绝不混用。

从账单反推单次成本的三步

模型算出来的单次成本,每个月都要和真实账单对一次。对账不是看总数差多少,而是把差额拆到科目里。

第一步,用当月变动成本总额除以当月成功调用数,得到实际有效单次成本。第二步,把这个数和模型里的有效单次成本比较,算出差额。第三步,把差额拆成三类:单价变化、结构变化、重试率变化。单价变化来自供应商调价;结构变化来自上下文变长或检索次数增加;重试率变化来自模型版本或提示词质量。

三类差额对应三种动作。单价变化要找采购,结构变化要找产品,重试率变化要找工程。如果只记一个「其他」科目,三类问题会混在一起,最后谁也说不清成本为什么上升。

对账还能发现模型漏掉的成本项。比如某个月支付通道费突然上涨,而模型里的支付项还是旧单价,差额会直接暴露这个遗漏。单次成本模型不是一次建完就结束的文档,它是每个月都要被账单校验一次的工具。

单次成本的三个边界

单次成本不是一个固定值,它随三个变量移动。做模型时要把这三个变量显式写出来,而不是假装它们不变。

上下文长度。 LumenDesk 的 P99 客户单次上下文是 30,000 token,是均值 1,800 token 的 16.7 倍,单次成本达到 0.120 美元。上下文变长时,只有 token 部分跟着 token 数上升;检索、存储与支付三项基本不变。所以 0.120 美元不是把 0.0150 美元简单乘 16.7 得到的,而是更长的输入与输出 token 再加上固定的 0.0060 美元。

缓存命中。 如果 token 部分被缓存完全命中,单次成本的下限是检索、存储与支付三项之和:0.0020 + 0.0010 + 0.0030 = 0.0060 美元,占原成本的 40.0%。缓存可以把推理成本压到接近零,却压不动这三项。把缓存当成万能降本手段,会忽略这个 40.0% 的地板。

重试与失败。 8% 的重试率把有效成本抬到 0.0163 美元。重试率不是技术指标,它是成本指标。产品团队优化一次提示词、减少一次格式错误,省下的不只是延迟,还有 8% 里的那一部分重复调用。

三个边界合起来说明一件事:单次成本模型必须带参数。固定一个 0.0150 美元然后全站套用,只在「所有调用都接近均值」时成立;一旦客户分层或上下文变长,这个数就会失真。

把三个变量放在一张表里,可以看出它们的量级差异:

变量基准边界对单次成本的影响
上下文1,800 token30,000 token从 0.0150 升到 0.120 美元
缓存未命中token 全部命中降到 0.0060 美元地板
重试0%8%从 0.0150 升到 0.0163 美元

上下文的影响最大,缓存次之,重试最小。这个排序决定了监控优先级:先看上下文分布,再看缓存命中率,最后看重试率。如果反过来,先花几个月优化重试,有效成本最多从 0.0163 降回 0.0150 美元,约 8.0%;而一个 P99 客户就能把成本抬高 8 倍。

监控优先级不等于优化优先级。重试率低不代表不用管,它更容易被工程改动影响,适合作为日常指标;上下文长度往往由客户行为决定,适合作为定价与套餐设计的输入。两类指标要分开看,不能用一个「平均单次成本」同时承担监控与定价两个任务。

小结

本章的结论可以压成八条:

  • 单次成本是加法:把推理、检索、存储、支付逐项相加,而不是用账单总额除以调用次数。
  • LumenDesk 的一次对话是 1,800 输入 token 加 450 输出 token,推理 0.0090 美元,四项合计 0.0150 美元。
  • 模型侧成本是 0.0120 美元,占 80.0%;推理成本是 0.0090 美元,占 60.0%,两个口径不能混用。
  • 重试要摊到成功调用上:LumenDesk 0.0163 美元、Verba 0.00433 美元、ClausePilot 73.03 美元。
  • 价值单位不同,单次成本不能直接比较;Verba 按分钟、ClausePilot 按案件,各有各的构成。
  • 上下文、缓存、重试是单次成本的三个边界;缓存完全命中时仍有 0.0060 美元的地板。
  • 成本模型应该参数化,重试率与上下文长度变化时,毛利模型要能跟着重算。
  • 固定成本不进入毛利率,但要以完全成本的形式保留在长期定价与专属报价里。

阅读导航:上一节:1.3 成本归因到产品、客户与功能 · 下一节:2.2 每客户与每席位的成本模型 。

常见错误与边界

  • 用月度账单除以调用次数得到平均值,再把这个平均值当成每一次调用的成本。
  • 把推理成本 0.0090 美元当成全部变动成本,漏掉检索、存储与支付合计 0.0060 美元。
  • 把模型侧成本 0.0120 美元写成推理成本,做供应商谈判时把压缩重点放错。
  • 只算成功调用的成本,不把 8%、3%、11% 的重试率摊回有效成本。
  • 直接比较不同价值单位的单次价格,忽略「完成同一个任务需要多少个单位」。
  • 假设缓存能把成本压到零,忽略检索、存储与支付合计 0.0060 美元的地板。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图