Kafka 与 Flink 流批一体集成
系统讲解 Kafka 与 Flink 的流批一体集成：Kafka Source 并行度与分区映射、checkpoint 与 offset 提交、两阶段提交 Sink 实现端到端精确一次、水位线与乱序处理、流批一体模式、反压与调优参数，以及生产环境常见坑
tag
流处理
共 10 篇文章。
流式 SQL：Flink SQL 与 ksqlDB
流式 SQL 把无限流当作持续变化的表，用标准 SQL 描述持续计算，是降低实时开发门槛的关键。本文讲清动态表与 changelog 的三种模式、Flink SQL 的 DDL 与连接器定义、事件时间与水位线声明、窗口 TVF 与各类 Join 的语义差异、状态与性能代价，再对比 ksqlDB 的架构、语法与 pull/push 查询，给出选型对照与生产踩坑清单。
fs2 流处理实战：Stream、Pipe 与背压模型
流处理的难点从来不在「怎么读数据」，而在背压、并发、错误恢复与资源释放这几件相互牵制的事。fs2 把流建模成惰性的拉取式值：下游不拉取，上游就停，背压因此不是需要调参的配置项，而是模型本身的性质。本文讲清 Stream 与 Pipe 的语义、构造与组合子、并发原语的取舍、错误处理与重试策略、与文件与消息队列的集成，以及有状态聚合与窗口的实现方式。
Kafka Streams 状态存储与 RocksDB 调优
深入 Kafka Streams 状态存储：KV 与窗口状态语义、changelog 变更日志与故障恢复、RocksDB 内存与压缩调优、standby 副本加速、再平衡下的状态迁移与本地目录管理、可查询状态、常见故障排查、恢复时间估算与调优清单
流处理精确一次与状态后端：Checkpoint、两阶段提交与恢复
精确一次不是引擎的单点特性，而是源、处理、汇三方协作的结果。本文深入 Flink 的 Checkpoint 与 Barrier 对齐、状态后端与增量快照、两阶段提交 Sink 的实现、故障恢复流程与状态一致性级别，并给出状态大小治理、Kafka 端到端精确一次实战与生产踩坑清单。
流处理进阶：窗口、水印与状态
深入解析流处理核心机制：事件时间 vs 处理时间、窗口类型（滚动/滑动/会话/计数）、水印（Watermark）与乱序数据处理、迟到事件的三种策略（丢弃/更新/旁路）、Exactly-Once 语义与状态管理、检查点与故障恢复、状态后端与增量计算、流表 Join 与维表关联、背压机制，以及流处理系统设计的工程实践。
Scala 流处理实战：Akka Streams、fs2 与反压机制
Scala 流处理三件套：Akka Streams（Source/Flow/Sink 图 DSL）、fs2（纯函数式流与 Effect 融合）、反压机制（推拉模型、缓冲与异步边界），覆盖错误恢复、并发流、Kafka 桥接、性能调优与流式测试。
Kafka 事务与 Exactly-Once 语义：从幂等生产者到端到端精确一次
系统讲解 Kafka 事务机制与 Exactly-Once 语义：幂等生产者原理、事务协调器与两阶段提交、read-process-write 端到端精确一次模式、事务消费与隔离级别、Outbox 模式集成、事务性能代价与适用场景
Kafka Streams 与 KSQL 流处理实战：窗口、Join 与状态存储
Kafka Streams DSL/Processor API、窗口操作、Join、状态存储、KSQL 查询与实时流处理实战
07. Kafka Streams 流处理
Kafka Streams: KStream、KTable、窗口聚合与 Exactly-Once 语义