《Java 消息中间件·事件驱动架构》7.1 Streams 的拓扑与处理器
Kafka Streams 的拓扑模型是事件驱动系统的计算引擎。本节通过编译运行真实拓扑获取 Topology.describe() 输出,逐行解析 Source、Processor、Sink 三节点模型,展示有状态处理器的本地 RocksDB 存储结构与 changelog topic 自动创建机制,提供诊断命令与监控指标对照表。
tag
Kafka Streams 的拓扑模型是事件驱动系统的计算引擎。本节通过编译运行真实拓扑获取 Topology.describe() 输出,逐行解析 Source、Processor、Sink 三节点模型,展示有状态处理器的本地 RocksDB 存储结构与 changelog topic 自动创建机制,提供诊断命令与监控指标对照表。
从「回声」拆分订单服务进行到双写阶段时的一次回退失败写起,说明每个阶段为什么必须同时定义向前动作和回退动作,回退为什么要按完成顺序倒序执行,并用 Go 实现的 ValidateStages 与 RollbackPath 把回退路径变成可测试、可演练的代码。
消费者契约不是生产者的单元测试,而是消费者声明「我依赖这些字段」,再由 CI 验证生产者是否遵守。本文用纯 Java 实现契约断言,完整展示「生产者改了字段,测试红了」的四场景输出,并给出一个可嵌入 Maven verify 阶段的契约测试骨架。
Schema Registry 不是架构演进的银弹。本文讨论 Registry 的适用边界与三条限制,给出两种无 Registry 的替代方案——消息体内嵌版本信封与代码内版本路由表,并用 Jackson 实测新旧双版本并存解析,展示默认值的回填逻辑。
事件版本号放在主题名、消息信封还是字段里,每种方案在落盘、回放与消费端的成本各不相同。本文用 Java 实测三种版本化方案的兼容性判定逻辑,覆盖加字段、删字段、改名三类变更,按 FORWARD/BACKWARD/FULL 给出可复用的判定表。
乐观并发控制通过版本号解决多写者冲突。本节给出 CAS 风格版本号检查的可运行 Java 代码,模拟两个消费者同时写同一聚合根时的检测与重试流程,对比乐观锁与悲观锁的适用边界,包含重试退避策略、libraryd 并发修改场景与生产者幂等联动机制的深度分析。
幂等不是全局属性,而是应用层边界函数。本节深入讨论业务键、消息 ID、自然键三种幂等方案,给出可运行的对照判定代码,演练重平衡导致消息重发时的幂等防护机制,对比生产者幂等与消费者幂等的分界,附带去重表存储成本估算、排查清单与一致性注意事项。
Kafka 分区有序不等于业务有序也不等于因果有序。本机实验模拟乱序到达(COMPLETE→INIT→PAIR),对比时间戳排序与版本号排序两组策略,证明业务因果序必须由事件体自身携带单调版本号维护,时间戳因生产者时钟偏移与发送时序而不可信。
「最终一致」里的「最终」必须是一个可度量的分布,不是一句安慰。本文给出一致性窗口的度量代码:事件产生时打时间戳,下游写库提交后再打一个,按分位统计。本机两段负载实测显示窗口随积压线性增长,慢消费者下 p99 从 81ms 变成 4387ms。据此讨论补偿的触发条件、补偿失败的人工出口,以及一致性窗口该怎么承诺。
卷二讲过 outbox 这个模式,这一节讲它落地要写哪几张表、中继怎么保证至少一次、对账为什么必须三方比对。用 H2 内存库真跑一遍:六个借阅、四类差异(有库无事件、有事件无库、写侧内容不一致、读侧内容不一致),输出差异报告,再演示读模型重建能修复哪一类、修不了哪一类。
跨服务之后「事务」这个词只剩下一半含义。本文把 2PC、TCC、最终一致三种落地拆开:各自要求什么前提、把不确定性放在哪里、失败时留下什么残局,并用一张四维对照表(一致性强度、可用性、实现成本、失败模式)说明为什么大多数业务最终选了第三种,以及哪两类场景不该选它。
投影表是可丢弃的派生视图。本节真跑一次完整重建实验:先投影 20 条库存事件,清空表后从位移 0 重放重建并对比两次耗时与一致性,验证事件日志作为唯一事实来源的可复现性,深入讨论重建触发条件、快照优化策略、业务低峰期执行建议与常见注意事项。
从「回声」订单与支付的边界争议出发,对比按产品域拆与按技术层拆在所有权、变更频率、事务边界和故障隔离上的差异,说明共享表为什么是最强的耦合信号,并用 Go 实现的 Overlap、Validate 与拓扑排序把模块边界检查变成可执行、可回归的拆分计划。
投影是从事件流到读模型的单向转换。本节用 H2 内存表做投影目标,实测 Kafka 消费者消费事件进投影表的全过程,展示幂等写入、顺序处理、查询验证与错误恢复策略,并对比关系型数据库、Redis、Elasticsearch 等多种存储后端。
CQRS 通过命令与读取分离化解读写冲突。本节用 H2 内存数据库演示命令写入、事件生成与投影更新的完整分离流程,给出可运行的 Java 代码示例,深入对比同步双写与异步事件总线两种同步策略,并提供典型应用场景、反模式警示与事件日志操作日志的区别分析。
事件目录不是文档,是可执行的契约。本节给出 libraryd 的 events.yaml 全量示例,逐字段说明 name、topic、version、owner、key、schema、consumers、compat 各自约束什么;再把目录与 Java record 做双向漂移检查,实测抓出一次字段改名和两个未登记字段,修复后 224 项检查全绿。
事件粒度由聚合根决定,不由表结构决定。本节用 libraryd 的借阅流程画出 Loan、Book、Hold 三个聚合的边界,说明一个事务只改一个聚合、一次状态迁移只发一条事件、跨聚合用事件而不是共享表;并用共享表建模的对照实验给出 3 条事件、19 个字段、四轮级联 120 条的结构比例。
事件不是表变更的别名。本节用 libraryd 的六个业务动作演示识别过程:先把动作、状态迁移与表写入分开列,再从迁移里提取过去时事实,最后用确定性 lint 挡掉 UpdateBookStatus、BookRowUpdated 这类伪事件,给出六个事件的命名对照与 12 个候选名的实测判定。
把事件驱动分成五级:消息传递、领域事件、契约治理、流处理、事件溯源。逐级说明能力、代价与常见误判,给出一份 20 题、按 0/1/2 打分的自评表,并用可运行程序算出 libraryd 当前处在第 2 级、升到第 3 级还差哪两项,最后给出升级动作与不该升级的理由。
事件驱动不是默认答案。先用四个信号判断什么时候该用事件,再用一张决策树把请求驱动、命令、查询、事件分开;接着用 libraryd 的两个反例说明用错位置的代价:借书前异步查库存导致超卖,借完立刻查列表却读不到。文末附串行调用与扇出的对照实验,并说明延迟收益为何不是主要理由。