《大规模分布式计算深入解析》12.2 BigQuery/Athena 的无服务器模型

用一个明确的假设单价复算单项及联合裁剪,并区分 BigQuery 与 Athena 的账单口径。

12.2 BigQuery/Athena 的无服务器模型

以下用十进制 TB、1 TB 基线和 5 美元/TB 的假设价格计算。设分区筛选保留原扫描的 10%,在保留分区内,投影列字节占同一批数据原列字节的 3%。

单项和联合裁剪

操作算式模型扫描量模型费用
读取全部1 TB1 TB5 美元
只裁剪分区1 × 0.100.1 TB0.50 美元
只裁剪列1 × 0.030.03 TB0.15 美元
分区与列联合1 × 0.10 × 0.030.003 TB0.015 美元

3% 的分母是相应数据范围里的全部列字节,真实表的不同分区可能有不同压缩率和列分布。模拟比例用于解释机制,验证时对同一查询收集服务实际报告的扫描量、计费量及执行时间。异步任务、缓存命中与并发也要记录。

不同服务的账单边界

服务 / 模式核查项
BigQuery 按需已处理与已计费字节,查询及引用表的最低计费和向上舍入,查询缓存、区域和免费额度
BigQuery 容量槽位时间、分配或基准容量、自动扩缩条件,存储另计
Athena SQL 按需区域内每扫描字节单价、每次查询最低计费和舍入,外部存储、目录或联邦查询的可能额外费用
Athena 容量预留分配的 DPU 时间和资源归属,按所用模式核算

可用 BigQuery dry run 估算处理字节,再与作业实际计费指标比较;Athena 可记录查询统计中的 DataScannedInBytes。查询计划出现分区或列裁剪时,也应检查对应读取和计费指标。 BigQuery 定价 · Athena 定价

三个常见误解

  • “费用一定与读量严格成正比”。最低计费、舍入、缓存、容量档和附加服务可能改变比例。
  • “LIMIT 10 等于少扫”。在不少全量扫描中 LIMIT 只约束结果,实际能力看表布局、连接器和服务指标。
  • “零查询就没有成本”。存储或预留资源可继续收费。

一句话总结本节

先把列与分区比例写成同一查询的扫描账,然后按服务、地区与计费模式单独换算。

本节 lab

下载卷五 Java 8 实验 · 实验运行与版本说明

StorageSuite 的计费用例只计算设定价格下的线性模型。联合裁剪应以原始 1 TB 乘以 10% 再乘以 3%。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图