《大规模分布式计算深入解析》14.2 query_log:记录实际扫描和耗时
system.query_log 的时长字段是 query_duration_ms,不是 system.processes 中常见的 elapsed。一次查询可能有 QueryStart/QueryFinish 或异常事件,日志写入也可能延迟;统计前应明确事件类型并在实验中 FLUSH LOGS。
category
system.query_log 的时长字段是 query_duration_ms,不是 system.processes 中常见的 elapsed。一次查询可能有 QueryStart/QueryFinish 或异常事件,日志写入也可能延迟;统计前应明确事件类型并在实验中 FLUSH LOGS。
RDF 以主体、谓词、客体三元组表达事实,客体可为资源或字面值,命名图又引入上下文。知识图谱不必采用 RDF,属性图也能构建知识应用;模型映射需要定义标识、类型、属性和关系身份。
EXPLAIN 展示计划,PIPELINE 展示 processor 及流连接;树上的打印方向并不普遍就是从上到下执行顺序。通常底部读取的结果向上游消费算子传递,Expression 也不能自动等同过滤,具体需看节点和表达式。
缓存一个子图查询结果可减少重复计算,但必须绑定图版本或变更序号。图更新后沿用旧缓存会改变正确性,不能只提供 materializedPatterns=true 作为“支持物化”的证据。
存储成本按物理字节、介质单价、时长、复制数及请求费用计算。原始数据压缩五倍是一个假设,实际压缩率受列、排序、codec 和 parts 影响;热冷迁移也有网络和临时空间成本。
检查编号边 0-1、1-2 是否存在,只是给定编号的子图包含;一般子图同构要搜索模式顶点到宿主顶点的单射映射。诱导匹配还必须保持非边,非诱导匹配只要求模式中的边存在。
改变 Distributed 集群拓扑不会自动把历史数据均匀搬到新分片;24.8.14.39 没有正文旧版所写的 SYSTEM RESHARD 命令。必须选择受支持的复制/导入工具或新表迁移方案,并明确谁负责路由与历史数据。
属性索引将标签与属性值映射到候选实体,查找仍需考虑索引查找本身、候选核对与回表成本。O(hits) 只描述枚举命中集合,不能代表全部索引成本;低选择率大结果也可能让扫描更合适。
TTL TO VOLUME/TO DISK 根据数据生命周期和 part 条件触发后台移动,执行时间受调度与配置影响。一个 part 混有不同年龄行时,不能把每一行都想成到期立即独立搬移;第 31 天准时完成不是默认保证。
node2vec 先按带偏置的随机游走生成结构上下文,再训练嵌入;GraphSAGE 学习邻域聚合函数,可对具备特征的新顶点推理。采样、特征、损失和训练目标都不是仅替换 PageRank 标量为向量就能得到的。
system.replicas 的 absolute_delay 是秒;queue_size、inserts_in_queue、log_pointer、log_max_index 又是不同进度指标,不能用两个日志序号相减来冒充时间延迟。队列已拉满不表示所有 parts 都已应用可见。
连通分量最小标号传播会把无向连通块标成同一最小 ID;社区标签传播通常采用邻居多数标签,可能形成多个社区,并受更新顺序、平票处理和同步振荡影响。不能用连通分量测试替代社区检测验证。
insert_quorum 指定等待的确认副本数;0、显式数值或 auto 具有不同含义,不能一概要求任何配置都大于副本数的一半。Keeper 元数据的 Raft 多数派与数据写入的确认数量是两层合同。
度中心性关注局部连接,介数关注最短路径经过某点的比例,接近中心性使用到其他顶点的距离。归一化方式、有向/无向、边权和不可达点处理会改变结果,必须跟定义一起提供。
每个副本保存本地 parts,Keeper/ZooKeeper 保存协调元数据、共享复制任务等,不是把全部列数据存进共识日志。副本通过队列、拉取与本地操作追齐;数据复制是异步多主写入形态,不能套成所有表都由一个数据 leader 接收写。
TigerGraph 将图存储与并行查询执行协同设计;JanusGraph 在后端存储与可选索引之上提供属性图接口。共享无存储不是 shared-nothing 的正确译法,分片、复制与数据所有者应在架构图中分别表达。
联邦查询实时访问多个数据源,导入/增量同步则把外部数据复制到本地;两种路径的数据新鲜度、故障与事务边界不同。一个 SQL 访问多个源不普遍意味着每个源已建立相同时刻的一致快照。
GraphX 用顶点属性、边分区及路由/镜像信息组织图,底层复用 Spark RDD 的调度与血缘。不能仅称其为普通两张表后就省去顶点到边分区的属性复制、分区策略和跨轮缓存,这些正是图迭代通信的关键。
MySQL 引擎和 mysql() 表函数可用于 SELECT 与 INSERT,不能概括为所有外部表函数只读。具体写入能力、替换/重复键选项、权限和远端事务范围应分别说明;DDL 仍不自动成为跨源原子操作。
Giraph 将顶点中心计算放入分布式运行环境:输入/输出可在 HDFS,worker 保存顶点分区和消息,协调与同步推进超步。ZooKeeper 用于协调,不是让每条图算法消息都经 ZooKeeper 转发;网络批量消息和屏障统计要分开看。