posts
这里是全站文章的归档入口，下面是按时间倒序排列的全部文章。若想按主题浏览，请从首页的专题分类进入。
Spark 作业变慢的原因通常只有三个：Shuffle 太贵、内存不够用、数据分布不均。本文从执行计划与 Spark UI 定位瓶颈入手，拆解 Shuffle 的落盘与网络代价及减少手段、统一内存管理与 executor 内存分配公式、GC 与序列化选择、数据倾斜的识别与加盐/广播/AQE 三类解法、小文件与小分区治理，并给出可直接套用的参数基线与调优流程。
数据管道的测试无法照搬应用测试：SQL 转换、状态存储与外部依赖让单元测试、集成测试和生产验证各有分工。本文拆解管道测试金字塔的分层策略、dbt 与 pytest 的单元测试写法、容器化集成测试、数据 diff 与对账断言、契约与 Schema 兼容性校验、CI/CD 流水线设计（分支构建、制品晋级、幂等回滚），以及影子运行与灰度发布的生产验证方法与常见反模式。
系统讲解 ClickHouse 容量规划与成本优化：数据量/增长率/保留期/副本数/压缩比构成的容量模型、压缩比实测方法、存储与计算资源配比公式、冷热分层与 TTL 降采样、列裁剪与编码调优、基于 system.parts 的成本监控，以及扩容阈值与告警实践。
面向从 MySQL/PostgreSQL 迁移到 ClickHouse 的开发者：数据类型映射与 Nullable/LowCardinality 取舍、主键与 ORDER BY 的语义错位、JOIN/GROUP BY/子查询/窗口函数的语法差异、常用函数对照表、UPDATE/DELETE 与事务的缺失、迁移工具选型与全流程校验清单。
系统讲解 ClickHouse 的工作负载调度与资源隔离：max_concurrent_queries 并发上限、Quotas 配额限流、Settings Profiles 差异化配置、查询优先级与 Workload 分类、内存/CPU/IO 隔离手段、多租户方案，以及防止单条大查询拖垮集群的落地实践与常见陷阱。
深入 ClickHouse 的数据变更语义：Mutation 的重量级实现与异步执行、Lightweight DELETE/UPDATE 的 _row_exists 掩码机制、删除标记的可见性与合并时机、幂等与并发语义、ReplacingMergeTree 去重替代方案，以及在高频更新场景下的选型与落地建议。
系统讲解 ClickHouse 查询剖析与链路追踪：system.query_log 关键列解读、ProfileEvents 计数、Query Profiler 采样与火焰图、trace_log 开启与表结构、trace_id/span_id 端到端串联、与 OpenTelemetry/Jaeger 集成、内存与执行细节下钻，以及一套可复用的慢查询定位流程。
深入 ClickHouse Projections：与物化视图的本质差异、ALTER TABLE ADD PROJECTION 语法、normal/aggregate 变体的存储结构、后台物化与合并机制、优化器如何自动选择投影、query_plan 验证与强制使用、预聚合收益评估、存储与写入放大代价，以及生产落地中的常见陷阱。
RAG 的端到端延迟由「检索 → 重排 → 上下文构造 → 生成」四段串联，任何一段慢都会拖垮整体。很多人只优化生成，却忽略检索与重排才是长尾的主要来源。本文拆解 RAG 链路的延迟分解，给出检索/重排/生成各段的优化手段、跨段流水线并行、缓存分层设计与端到端评测方法，把 RAG 从「能跑」优化到「快且稳」。
推理服务的扩缩容比普通 Web 服务难得多：GPU 昂贵、模型加载慢、并发数比 QPS 更能反映压力。用 CPU 利用率做 HPA 指标，往往扩不起来或扩过头。本文讲清推理扩缩容的指标选择（队列深度/KV cache/GPU 利用率）、KEDA 与 HPA 实践、冷启动瓶颈与优化、缩容到零与预热池设计，以及多级伸缩架构。
RAG 的检索质量与延迟，一半取决于 Embedding 与 Reranker 的服务效率。这两类模型和生成模型截然不同：Embedding 是编码器（高吞吐、批处理友好），Reranker 是交叉编码器（算力密集、批内耦合）。本文拆解它们的服务特征、批处理与量化优化、GPU/CPU 选型、部署架构与评估指标，给出可落地的调优路径。
当业务同时接 GPT、Claude、开源模型与自托管推理，直连每个后端会让限流、鉴权、成本核算散落各处。LLM 网关把「多模型调用」收敛成统一入口：协议适配、策略路由、限流配额、故障转移、可观测性一站式解决。本文讲清网关的职责边界、四类路由策略、统一 API 设计、成本与配额治理，以及高可用与灰度实践。
让 LLM 稳定输出合法 JSON，靠提示词祈祷是不够的。受限解码（Constrained Decoding）把 JSON Schema 编译成有限状态机，在每个解码步屏蔽掉不合法的 token，从生成源头保证输出合法。本文讲清 FSM/Token Mask 原理、JSON Schema 到语法的编译流程、Outlines/XGrammar/GBNF 三条实现路径的对比、性能开销与工程陷阱。
GPU 跑不满、Kernel 慢却不知卡在哪，是推理优化的日常困境。本文拆解 NVIDIA 剖析双工具的分工：Nsight Systems 看时间线（谁在等谁、Kernel 间空隙、数据传输与同步），Nsight Compute 看单个 Kernel 内部（占用率、访存、算力与带宽利用率）。给出采集命令、关键指标解读、典型瓶颈模式与从剖析到优化的闭环流程。
系统讲解国际化与本地化测试的工程化实践：硬编码文案检测与占位符一致性校验、缺失与多余翻译的自动化扫描、CLDR 复数规则与性别/语序差异、RTL 镜像与文本膨胀导致的布局溢出、时区与日期/数字/货币格式断言、伪本地化（pseudo-localization）与 CI 集成。
系统讲解智能合约测试的工程化实践：Foundry forge test 与 Hardhat 的单元/集成测试、cheatcodes 与断言技巧、Fork 主网测试复现真实依赖、模糊测试（fuzzing）与不变量测试（invariant testing）、Gas 快照与回归门禁、重放攻击防护验证、以及代理升级模式下的存储布局兼容性检查。
系统讲解并发竞态测试的工程化实践：数据竞争与原子性违反、顺序违反三类并发缺陷的识别、Go race detector 与 ThreadSanitizer 的检测原理与局限、确定性复现与调度扰动注入、Loom/Coyote 等模型检查工具、压力测试与随机 sleep 注入、死锁与活锁检测，以及 CI 中的稳定性与种子复现治理。
系统讲解实时通信与 WebSocket 测试的工程化实践：连接生命周期（握手升级、鉴权、心跳保活、优雅关闭）验证、消息顺序与乱序/重复/丢失的至少一次语义、背压与缓冲控制、断线重连的退避与状态恢复、重连风暴防护、连接数与广播的并发压测、mock WebSocket 服务端与录制回放，以及 CI 中的稳定性治理。
系统讲解 gRPC 服务测试的工程化实践：proto 作为第一类契约与 buf lint/breaking 门禁、生成代码一致性校验、拦截器（Interceptor）单元测试、bufconn 内存传输与真实 stub 集成、四种流式调用的测试手法、deadline 传播与重试策略验证、状态码与 metadata 断言，以及与 grpc-gateway HTTP 网关的边界测试。
系统讲解 GraphQL 接口测试的工程化实践：Schema 作为第一类契约与 breaking change 检测、查询与变更用例矩阵设计、errors 数组与部分成功语义、Mock Resolver 与数据源替身、DataLoader 与 N+1 问题验证、查询深度与复杂度限制、契约与响应快照、以及 CI 中的门禁与常见陷阱。