CDC 与实时数据管道:Canal、Debezium、Flink CDC 的架构与实战
业务库的数据是实时的,而下游的数据仓库、缓存、搜索引擎往往是滞后的——传统 ETL 定时全量同步的延迟以"小时"计,且全量扫描对源库冲击大。CDC(Change Data Capture,变更数据捕获)改变了这一切:它从数据库的日志(MySQL binlog、PostgreSQL …
tag
业务库的数据是实时的,而下游的数据仓库、缓存、搜索引擎往往是滞后的——传统 ETL 定时全量同步的延迟以"小时"计,且全量扫描对源库冲击大。CDC(Change Data Capture,变更数据捕获)改变了这一切:它从数据库的日志(MySQL binlog、PostgreSQL …
批处理系统的测试方法论已经相当成熟——给定输入文件,运行作业,对比输出即可验证。但流处理(Stream Processing)引入了一套全新的复杂性:数据没有边界(unbounded)、时间语义多层交织、乱序与延迟成为常态、Exactly-Once 保证涉及分布式协调。本指南从 Kafka 管道测试 …