《大规模分布式计算深入解析》14.2 query_log:记录实际扫描和耗时

system.query_log 的时长字段是 query_duration_ms,不是 system.processes 中常见的 elapsed。一次查询可能有 QueryStart/QueryFinish 或异常事件,日志写入也可能延迟;统计前应明确事件类型并在实验中 FLUSH LOGS。

query_log:记录实际扫描和耗时

system.query_log 的时长字段是 query_duration_ms,不是 system.processes 中常见的 elapsed。一次查询可能有 QueryStart/QueryFinish 或异常事件,日志写入也可能延迟;统计前应明确事件类型并在实验中 FLUSH LOGS。

机制与确认边界

read_rows/read_bytes、memory_usage 与 ProfileEvents 用于解释实际资源,字段口径须按版本查看;不要直接把每行数据大小或命中行数当扫描值。分布式查询还要用 initial_query_id 等关联发起端与远端,避免重复求和或只看协调者。

实现与验证范围

原生探针指定 query_id、执行查询后刷新日志,再读取 QueryFinish 的实际字段;不编造 5GB/8s 到 0.5GB/1.2s 的测量。优化前后对照固定结果、缓存与并发条件,数据读得少也不必然按同一比例缩短墙钟时间。

本章共享图解见 14.1 的机制图 ,其中的状态与确认点需和本节一起阅读。

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路