单体到分布式:遗留系统迁移与绞杀者模式
遗留系统迁移与绞杀者模式:从大爆炸重写的失败原因讲起,剖析绞杀者(Strangler Fig)的渐进替换机制、反向代理流量切分与灰度判据、CDC 数据同步与影子流量校验,给出数据库拆分五阶段、API 契约兼容、幂等重放与团队组织配套的落地方法及常见踩坑清单
tag
遗留系统迁移与绞杀者模式:从大爆炸重写的失败原因讲起,剖析绞杀者(Strangler Fig)的渐进替换机制、反向代理流量切分与灰度判据、CDC 数据同步与影子流量校验,给出数据库拆分五阶段、API 契约兼容、幂等重放与团队组织配套的落地方法及常见踩坑清单
Redis Keyspace 通知与变更捕获实战:事件类别字符详解、__keyspace@0__ 与 __keyevent@0__ 双通道订阅、CONFIG SET 动态开启与同步派发代价、集群下通知只在本地节点触发的问题、事件驱动本地缓存失效、Pub/Sub 不保证送达与无重放的本质局限、Streams 自建可靠 CDC、Debezium 方案对比与对账兜底
以 Debezium 与 Kafka Connect 为核心讲透 CDC 生产落地:逻辑解码与初始快照衔接、Schema Registry 兼容性策略、重复与顺序保证、复制槽膨胀与断点续传、增量快照补救、监控指标与典型故障处置、下游幂等与吞吐调优
深入有限状态机的设计方法与时序工程实践:Moore 与 Mealy 的本质差异、二段式与三段式写法、binary 与 one-hot 编码取舍、跨时钟域同步与亚稳态、复位策略、时钟使能与分频,并给出 UART 发送状态机的完整 Verilog 实现与验证方法。
数据集成平台决定数据进入仓库的可靠性与成本。本文对比 Airbyte、Fivetran 与 SeaTunnel 的架构、连接器生态与运维模式,深入同步模式(全量/增量/CDC)、schema 漂移处理、调度与监控、成本模型,并给出选型决策树与从自研脚本迁移到平台化集成的落地路径。
系统讲解流式图处理与实时图计算的工程实践:问题定义(图数据的实时性需求)、CDC 入图(从关系库/消息流捕获变更并映射为图)、增量更新与幂等写入(去重、乱序、Exactly-Once)、窗口化子图与状态管理(滑动窗口、会话窗口、状态后端)、实时欺诈检测(环形转账、设备聚集)、实时推荐(实时共现、会话推荐)、流式图算法(增量 PageRank 与社区)、与批处理的对照与协同、技术选型与架构(Kafka Streams / Flink / GDS)、以及运维监控与常见坑。
讲解 Elasticsearch 连接器与数据同步:Connectors 生态、增量同步与 API 写入、CDC 变更捕获与一致性、同步策略与冲突处理,以及同步链路的监控运维。
讲解搜索服务架构:搜索服务分层设计、索引更新策略与读写分离、CDC 同步与数据管道、多索引路由、缓存策略与容错降级,构建可扩展的搜索系统。
深入变更数据捕获原理与 Debezium 架构,讲解 Connector 配置、同步到搜索与数仓的管线、Outbox 联动,以及位点容错、幂等写入与同步延迟水位线的生产实践
深入事务发件箱模式,解决业务库与消息队列双写一致性问题,对比轮询发布与事务日志监听两种方式,结合 CDC 联动实现幂等可靠的最终一致消息投递
全面讲解数据库迁移的核心策略与最佳实践,涵盖在线Schema变更、大表迁移、跨数据库迁移、数据同步等场景,提供gh-ost、pg_repack、Debezium等工具的实战案例。
系统讲解 PostgreSQL 逻辑复制与变更数据捕获(CDC):逻辑复制原理与 WAL 解码(pgoutput/wal2json/decoderbufs)、发布订阅(CREATE PUBLICATION/SUBSCRIBE)配置、逻辑复制做故障切换与零停机迁移、初始同步机制、DDL 限制与数据冲突处理、与 Debezium/Kafka 的数据流集成、复制延迟监控与性能优化。
业务库的数据是实时的,而下游的数据仓库、缓存、搜索引擎往往是滞后的——传统 ETL 定时全量同步的延迟以"小时"计,且全量扫描对源库冲击大。CDC(Change Data Capture,变更数据捕获)改变了这一切:它从数据库的日志(MySQL binlog、PostgreSQL …
深入剖析数据工程中的核心管道设计模式,涵盖 ETL 与 ELT 架构选型、批量与增量同步策略、CDC 捕获、流批一体实现以及数据质量保障体系。
深入解析 Kafka Connect 与 Debezium 的 CDC 数据捕获架构,涵盖 MySQL、PostgreSQL Source Connector 配置,Elasticsearch 与 S3 Sink Connector 实践,Schema Evolution 策略以及 SMT 单条消息转换。
Kafka Connect Source/Sink Connector、Debezium CDC 监听数据库变更、Schema Registry 与 Avro/Protobuf/JSON Schema
MongoDB Change Streams: 实时监听数据变更、CDC 架构、Resume Token 与容错设计
API 契约测试方法论:Schema 校验、消费者驱动(CDC)与提供者验证、Pact 契约测试框架、Postman/Bruno 集成测试、MSW Mock 服务、Playwright E2E 与 CI 流水线完整实战。
深入讲解Change Data Capture(CDC)技术原理与实现方案,详解Debezium的部署与配置,提供MySQL/PostgreSQL到Kafka/Elasticsearch的实时数据同步实战案例,涵盖Schema演进与故障恢复策略。
深入理解消息队列在分布式系统中的角色,对比Kafka与RabbitMQ的适用场景,详解事件驱动架构(EDA)、事件溯源、CDC等模式,附完整的架构设计与代码示例。