category

Books

共 3674 篇文章。
全部文章BooksgameJavaIndiegolang客户端开发MinigameSaasrustPythoncgTypescriptengineCocos
books

《大规模分布式计算深入解析》5.1 键值状态与状态后端

流计算不能「算完就丢」,因为累计、去重与双流关联都要跨事件记忆。本节把状态分成键控与算子两类,列出键控状态五种形态各自适合存什么,说明状态后端只负责存放、快照与恢复,不提供查询。最后用「100 万条分到 1000 个键」的算例,推出状态规模由键数、每键条数与单条大小相乘决定。

7 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析·批处理引擎:Spark 内核》目录与学习路径

《大规模分布式计算深入解析·批处理引擎:Spark 内核》的目录与学习路径:45 篇逐节索引、三条阅读路线、十五章依赖关系,以及本卷与卷一、数据工程专题、Flink 专题的分工边界;每节配一个可运行的 Java 最小验证,正文以 RDD、DAG、Shuffle、内存管理、Catalyst 与结构化流为对象讲分布式批处理引擎内核。

7 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析·批处理引擎:Spark 内核》 · 全书目录与章节索引(45 篇)

《大规模分布式计算深入解析》卷二的 45 篇全书索引:从 RDD 的动机、惰性求值与血缘,到分区依赖、DAG 调度与流水线、Shuffle 路径与实现、统一内存与 spill,再到任务执行与序列化、重试与推测、块丢失与提交协议,随后是 Catalyst 逻辑/物理计划与 codegen、join 与聚合实现、分区修剪与 AQE,最后是结构化流的微批、状态与水印、输出模式,以及与资源管理、性能调优、存储集成、引擎比较和卷二收口;每节配一个可运行的 Java 最小验证,共 109 用例。

4 分钟阅读
书稿 大数据 分布式计算