内存管理与落盘:查询内存、spill to disk 与 OOM 防护
本文系统讲解 ClickHouse 的内存管理与落盘机制,从查询级与服务级内存限制参数出发,深入 spill to disk 外部聚合与排序、JOIN 内存策略与算法选择、标记缓存与查询缓存占用,并给出基于 system.query_log 的 OOM 排查步骤与熔断队列限额防护方案,最后附生产参数模板与速查表。实测 100GB 聚合可将单机 RSS 从 90GB 压到 12GB。
tag
本文系统讲解 ClickHouse 的内存管理与落盘机制,从查询级与服务级内存限制参数出发,深入 spill to disk 外部聚合与排序、JOIN 内存策略与算法选择、标记缓存与查询缓存占用,并给出基于 system.query_log 的 OOM 排查步骤与熔断队列限额防护方案,最后附生产参数模板与速查表。实测 100GB 聚合可将单机 RSS 从 90GB 压到 12GB。
排序算法全景实战:排序的工程价值、十大排序算法(插入/希尔/选择/冒泡/快速/归并/堆/计数/桶/基数)、稳定性与原地性、复杂度对比与选型、工程排序(TimSort/Introsort)、排序稳定性应用、比较排序下界、常见坑与面试速查。
系统讲解 Kafka 消费组与再平衡机制:消费组模型与心跳协议、Eager 与 CooperativeSticky 两代再平衡协议、JoinGroup/SyncGroup/Heartbeat 完整流程、四种分区分配策略(Range/RoundRobin/Sticky/CooperativeSticky)、再平衡频繁的根因排查(max.poll.interval/session.timeout/处理耗时)、静态成员与滚动重启、以及位移提交与再平衡配合的稳定性工程实践
分析游戏 LiveOps 活动脚本在服务器端的执行预算设计,覆盖 CPU、查询、发奖、循环、外部调用和灰度开关,避免灵活配置演变成线上事故。