全书概览
| 项目 | 内容 |
|---|---|
| 书稿 | 《Java 响应式编程·流处理引擎与实时计算》 |
| 篇数 | 50 篇（15 章 45 节 + 序、前言、目录 + 附录 A–B） |
| 领域 | Kafka Streams、Flink DataStream、窗口、状态管理、Exactly-Once、CEP |
| 贯穿项目 | eventd-v3 —— Kafka Streams 数据清洗 → Flink 窗口聚合 → 实时指标面板 |
| 阅读方式 | 从目录篇 进入按顺序通读，或按引擎跳读 |
| 主线版本 | Java 17（Flink 1.20 支持基线）、Kafka 3.8.1、Flink 1.20.x |
| 关键依赖 | kafka-streams 3.8.1、flink-streaming-java 1.20.x、flink-cep 1.20.x |
| 上级专题 | 书稿专题 |
三卷分工
| 卷 | 书名 | 关注点 |
|---|---|---|
| 卷一 | 《Reactive Streams 与背压原理》 | RS 规范、Reactor 核心、背压策略 |
| 卷二 | 《系统构建与数据访问》（已完成） | Reactor Netty、WebFlux、R2DBC、响应式安全 |
| 卷三 | 《流处理引擎与实时计算》（本卷） | Kafka Streams、Flink DataStream、窗口、CEP、实时指标 |
本卷不讲 Kafka Producer/Consumer API（已有《Java 消息中间件·事件驱动架构》展开），不讲 Flink SQL（仅讲 DataStream Java API）。
与站内已有内容的边界
- 不写 Kafka 基础：Producer/Consumer API、broker 管理、分区分配已在《Java 消息中间件·事件驱动架构》和《Java 消息中间件·内核》展开；本卷只写 Kafka Streams DSL 与拓扑。
- 不写 Flink 运维：集群部署、Yarn/K8s 调度、Checkpoint 底层存储；本卷只写 DataStream Java API 与编程模型。
- 不写 Scala Flink 的 DataStream API 有 Scala 绑定，本卷只用 Java。
全书目录
前置
| 篇 | 文章 | 核心内容 |
|---|---|---|
| 序 | 从批处理到流处理 | 卷三定位、三卷分工、本卷边界 |
| 前言 | 环境、项目与读法 | Kafka 3.8.1 + Flink 1.20.x + eventd v3 骨架 |
| 目录 | 目录与学习路径 | 三条路径：Streams → Flink → 实时面板 |
第一部分：流处理基础（第 1–3 章）
| 节 | 文章 | 核心内容 |
|---|---|---|
| 1.1 | 流处理范式：Dataflow、窗口、时间语义 | 批 vs 流、事件时间 vs 处理时间 |
| 1.2 | 窗口与时间语义 | 滚动/滑动/会话/全局窗口 |
| 1.3 | Flink 环境搭建 | MiniCluster、依赖、Maven BOM |
| 2.1 | Kafka Streams 拓扑 | StreamsBuilder、Source/Sink/Processor |
| 2.2 | KStream 与 KTable | 有界/无界、更新流 |
| 2.3 | Kafka Streams DSL 基础 | filter/map/flatMap/groupBy/reduce |
| 3.1 | 状态存储与交互查询 | KeyValueStore、交互查询（Interactive Queries） |
| 3.2 | Kafka Streams Exactly-Once | EOS 配置、事务 ID |
| 3.3 | Kafka Streams 与 Reactive Streams 衔接 | Publisher → KafkaProducer、Reactive 适配 |
第二部分：Flink 核心（第 4–8 章）
| 节 | 文章 | 核心内容 |
|---|---|---|
| 4.1 | DataStream API：Source/Transformation/Sink | StreamExecutionEnvironment、addSource、addSink |
| 4.2 | Flink 时间语义与 Watermark | EventTime、Assigner、AllowedLateness |
| 4.3 | Flink 窗口：滚动、滑动、会话、全局 | WindowAssigner、Trigger、Evictor |
| 5.1 | Flink 状态管理：KeyedState | ValueState、ListState、MapState、ReducingState |
| 5.2 | Flink 状态管理：OperatorState | ListState、BroadcastState、CheckpointedFunction |
| 5.3 | Flink Checkpoint 与故障恢复 | CheckpointConfig、Barrier、异步快照 |
| 6.1 | Flink CEP：模式匹配入门 | Pattern.begin、next/followedBy/within |
| 6.2 | Flink CEP：复杂事件处理 | 迭代模式、超时、侧输出 |
| 6.3 | Flink Table API 与 SQL（概述） | TableEnvironment、SQL 查询、与 DataStream 转换 |
| 7.1 | 连接器：Kafka Source/Sink | KafkaSource、KafkaSink、offset 提交与分区映射 |
| 7.2 | 连接器：JDBC / Redis / Elasticsearch | JdbcSink、自定义 Redis Sink、ES Sink |
| 7.3 | 连接器：自定义 Source 与 Sink | SourceFunction、RichSinkFunction |
| 8.1 | 指标与延迟分析 | LatencyMarker、MetricsReporter |
| 8.2 | 反压与资源调优 | Web UI backpressure、buffer参数、slot调优 |
| 8.3 | 测试：MiniCluster 与测试工具 | TestStreamEnvironment、CollectSink |
第三部分：eventd v3 与实时面板（第 9–12 章）
| 节 | 文章 | 核心内容 |
|---|---|---|
| 9.1 | eventd v3 架构 | Kafka → Streams 清洗 → Flink 聚合 → 面板 |
| 9.2 | Kafka Streams 清洗管道 | 去重、格式标准化、异常过滤 |
| 9.3 | Flink 窗口聚合 | 按用户/时段聚合、热点统计 |
| 10.1 | 实时指标计算 | QPS、延迟分位数、错误率实时计算 |
| 10.2 | 实时告警规则引擎 | 阈值判断、滑动窗口告警、抑制 |
| 10.3 | 实时面板数据流 | SSE / WebSocket 推送、背压适配 |
| 11.1 | 端到端 Exactly-Once | Kafka → Flink → 下游 EOS 保证 |
| 11.2 | 多流 Join 与关联分析 | Interval Join、CoProcessFunction |
| 11.3 | 状态 TTL 与过期清理 | StateTtlConfig、过期策略 |
| 12.1 | eventd v3 全链路集成 | v2 事件 → Kafka → Streams → Flink → 面板 |
| 12.2 | 部署与运维 | Standalone / Docker / 配置分层 |
| 12.3 | v3 验收 | 全链路可运行、指标正确性、延迟达标 |
第四部分：测试与调试（第 13–14 章）
| 节 | 文章 | 核心内容 |
|---|---|---|
| 13.1 | Kafka Streams 测试 | TopologyTestDriver、InputTopic、OutputTopic |
| 13.2 | Flink DataStream 测试 | MiniCluster、CollectSink、Watermark 推进 |
| 13.3 | 端到端测试 | Testcontainers Kafka + Flink + 面板断言 |
| 14.1 | 性能基线与调优 | 吞吐、延迟、Checkpoint 间隔 |
| 14.2 | 故障排查 | 反压、状态过大、OOM、Watermark 滞后 |
| 14.3 | 从 v2 到 v3 的演进 | 事件格式兼容、数据迁移、灰度切换 |
第五部分：总结与展望（第 15 章）
| 节 | 文章 | 核心内容 |
|---|---|---|
| 15.1 | 引擎选型指南 | Kafka Streams vs Flink、决策树、混合架构 |
| 15.2 | 响应式流处理的演进趋势 | 流批一体、实时数仓、SQL 化、Serverless |
| 15.3 | 全书总结与学习路径回顾 | 三卷知识体系、概念提炼、进阶建议 |
附录
| 附录 | 文章 | 用途 |
|---|---|---|
| A | Flink DataStream API 速查 | Source → Transformation → Sink 速查 |
| B | Kafka Streams DSL 速查 | 常用操作符与配置参数 |
与卷二的衔接
eventd v2（卷二）产生的事件流是 eventd v3（卷三）的数据源：
eventd v2 (WebFlux + R2DBC)
→ 业务事件写入 Kafka Topic "eventd-raw"
→ Kafka Streams 清洗管道（去重/标准化）
→ Flink DataStream（窗口聚合/CEP 分析）
→ 实时指标写入 Redis / 面板推送
需要时写「卷二第 N 章」，保持引用准确。