category

Books

共 3674 篇文章。
全部文章BooksgameJavaIndiegolang客户端开发MinigameSaasrustPythoncgTypescriptengineCocos
books

《大规模分布式计算深入解析》9.3 列式存储引入:ORC/Parquet 动机

为什么大数据时代要引入列式存储:行式存储读分析查询要整行 I/O、压缩率低;列式存储只读需要的列、同列同类型高压缩、天然适配向量化。讲清 ORC/Parquet 的动机(列裁剪、谓词下推、压缩)与代价(写入更贵、点查不利)。lab 用迷你 MapReduce 观察只输出需要字段的效果。

7 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析》9.1 数据本地性如何决定性能

从性能角度回答「本地性为什么值钱」:磁盘与网络带宽的量级差、节点本地/机架本地/远程三档的成本差、以及副本布局如何决定本地性命中率。讲清「本地性命中率」与「带宽消耗」的关系,以及计算密集场景下本地性为何退居次席。lab 用数据本地性实验复现本地读的收益。

8 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析》8.3 迭代计算与链式 MapReduce

MapReduce 表达迭代与多阶段计算的两种方式:链式 MapReduce(把多阶段串成一个作业链)与迭代计算(反复跑同一作业直到收敛)。讲清链式的数据传递与容错、迭代的收敛判定与每轮成本,以及这两种笨办法如何暴露出 Spark 内存迭代的动机。lab 用迷你 MapReduce 复现链式处理的输出传递。

7 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析》8.1 二次排序与自定义分区

MapReduce 的两个进阶技巧:二次排序让 reduce 收到「同 key 内 value 有序」的数据(按组合键排序),自定义分区让数据按业务规则分布(解决倾斜与保序)。讲清「组合键排序如何让 value 有序」「分区函数如何同时保正确与均衡」。lab 用迷你 MapReduce 复现二次排序与自定义分区。

8 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析》7.2 溢写(spill)与 combine

map 输出的内存缓冲与落盘:环形缓冲区满时如何溢写(spill)到磁盘,多个溢写文件如何归并成一个;combiner 如何在 map 端预聚合减少 shuffle 数据量。讲清「内存缓冲 → 溢写 → 归并」是 map 端 shuffle 的流水线,以及 combiner 为什么能大幅压缩中间数据。lab 用迷你 MapReduce 复现 combiner 等价性。

7 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析》6.3 推测执行与失败黑名单

长尾任务如何被推测执行加速、反复失败的节点如何被黑名单隔离:慢任务的检测(进度落后于平均)、备份任务「谁先完成用谁」的语义、黑名单的阈值与解除。讲清这两套机制如何与任务重放配合,构成「调度 + 容错」的完整闭环。lab 用迷你实现复现推测执行与黑名单。

7 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析》6.2 本地化调度(数据本地性优先级)

调度器如何按数据本地性把 map 任务派到「持有输入分片」的节点:LOCAL > RACK > REMOTE 三级优先级、延迟调度等待本地位、以及本地性与负载均衡的权衡。讲清调度器为什么不是「看空槽就派」,而是「先等本地再降级」。lab 用本地化调度器复现三级优先级与满载降级。

8 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析》6.1 输入分片与任务划分

MapReduce 并行度的来源:输入分片(split)如何决定 map 任务数量,分片的大小与数量如何与块大小、数据倾斜、调度粒度权衡。讲清「分片是逻辑概念」「分片数 = map 任务数」「分片与本地性绑定」三个要点,以及分片元数据的记录方式。lab 用迷你 MapReduce 验证任务划分与并行产出。

8 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析》5.3 联邦与性能边界

单 NameNode 有内存与吞吐两个硬边界:命名空间太大装不进内存、元数据操作都过一个节点。联邦(Federation)用多个独立命名空间分散元数据负载,各自独立伸缩。讲清「为什么不能靠一台超大 NameNode 解决」「联邦怎么拆」「联邦的代价与边界」。lab 用迷你 HDFS 复现多命名空间互不干扰。

9 分钟阅读
书稿 大数据 分布式计算