《大规模分布式计算深入解析》8.1 两阶段聚合:可合并状态与全局归约
分片扫描后先按组产生部分状态,协调者或后续归约阶段再合并。成立条件是聚合提供正确的 state/merge/finalize 语义,不是所有 SQL 聚合都能只传一个标量。分片键对齐有时可减少进一步归约。
category
分片扫描后先按组产生部分状态,协调者或后续归约阶段再合并。成立条件是聚合提供正确的 state/merge/finalize 语义,不是所有 SQL 聚合都能只传一个标量。分片键对齐有时可减少进一步归约。
MATCH (p:Person)-[:LINK]->(c:City) 逐个起点沿满足方向、类型及终点谓词的关系产生绑定行。输出行数是各起点匹配关系数之和,不是“Person 数×全图 City 数”。互不连接的两个独立模式才可能产生笛卡尔积。
协调者把能安全下推的算子送到持有分片数据的节点执行,回传可能是过滤行或聚合状态。源数据本地读取可减少网络,但整个查询仍需发子查询、传状态和返回结果;不能称总跨网字节为零。
属性的逻辑值可以很短或很长,编码可能使用内联块或指向动态存储。记录定长不意味着属性值定长,也不能把“8B 元数据”当作完整属性占用。空间账本至少含键/token、编码头、实际 payload、外置引用与块内碎片。
ON CLUSTER 将 DDL 作为分布式任务在各主机执行。成功节点不会因为另一节点失败自动撤销表;离线节点可能在恢复后继续处理任务,等待超时也不等于所有节点最终状态相同。它不是分布式 schema 原子事务。
插入块去重依赖表引擎、相关设置、块内容/顺序、token、窗口与物化视图链路。稳定 token 可帮助识别同一次逻辑批次,但不是任意业务主键的全局唯一约束;窗口过后或重新分块可能再次插入。
事务修改先进入事务状态;提交时日志为变更提供恢复依据,在相应持久化条件满足后应用到存储结构。不能把“先改可刷出的页,再补日志”当作 WAL 的含义。客户端确认、日志保护、页可见及页落盘是四个需要区分的点。
Distributed 充当查询与写入分发层,本地表真正保存分片数据;异步发送模式还可能在发起端持有待发送文件,因此“不存数据”不等于没有本地持久队列。写入分片键、权重和拓扑决定目标分片。
async_insert=1 将符合相同查询形态和设置的数据聚合进内存缓冲;触发条件与版本设置有关。wait_for_async_insert 默认 1,客户端等待 flush 结果;设为 0 才是缓冲后提前返回的 fire-and-forget。
读取存储源码先固定 Neo4j 版本、Community/Enterprise 和 store format。5.26.0 standard 的节点/关系/属性完整记录分别为 15/34/41B;这不是 aligned 或 block 的通用布局。记录尺寸、ID 位宽、页内对齐和动态区要作为一组理解。
过滤结果可表示为选择向量、位掩码或紧凑输出,后续算子必须使用同样的行位置语义。hash join 仍需定义构建/探测、碰撞、重复键和内存溢出,批量计算哈希不是完整连接实现。
普通 MergeTree 同步 INSERT 主要走解析、block 处理、分区/排序/编码、写 part 与发布可见性路径,不能直接写成默认 LSM 的 WAL→memtable→flush。日志、缓冲和队列在不同引擎或选项下承担不同职责,应逐一命名。
无向连通分量可反复传播邻域最小标号,稳定后一个分量取最小 ID;有向图的弱连通与强连通是不同问题。这个最小值程序不是社区检测的多数标签传播,不能因为都叫标签就共享正确性结论。
AVX2 的 256 位寄存器可容纳八个 32 位整数,但“1024/8=128”只算向量主体处理次数,不是完整求和指令数。还需要加载、向量累加、水平归约、循环控制和尾部处理,CPU 支持与编译目标也要固定。
ALTER TABLE UPDATE/DELETE mutation 通过重写受影响数据生成新 part,不能将 ALTER DELETE 通称“额外生成一个墓碑 part”。lightweight DELETE 使用另一套行存在掩码机制;选用时应明确版本、可见性、后台清理和投影限制。
令 d=0.85 表示沿链接传播的概率,重置概率为 1-d。均匀个性化下,每轮 PR_new(v)=(1-d)/N+d×(入边贡献+悬挂总质量/N)。如果 API 使用 resetProb=0.15,它表达的是另一参数,不能仅按名字传入 0.85。
向量化将算子接口从单行改成批数据/列数组,减少分发开销并改善局部性;批大小由引擎、算子和配置决定。实验 BLOCK=1024 只是教学参数,不能作为 ClickHouse 所有算子的固定批长。
PARTITION BY 把数据按表达式划分为逻辑分区,part 名称和文件路径编码相应标识;它不必表现成每分区一个目录。合并只在兼容的同分区 parts 中选择候选,并受大小、资源与策略约束,不承诺最终每分区永远只剩一个。
单位边权图上的 BFS 按距离层传播,天然适配同步消息波;DFS 的深度优先访问序需要栈和顺序依赖。分布式系统也可研究并行 DFS,但不能把串行 DFS 顺序直接分派给多个 worker 就声称保持同一语义。
同步插入会经过解析、block 形成、按分区拆分、排序、编码与 part 发布。一次 INSERT 可能有多个 block 或跨多个分区,因此不能保证永远恰好产生一个 part。part 内数据不可原地改的约定使并发读取与替换更清楚。