《Java 消息中间件·事件驱动架构》1.1 事件、命令与查询
从 libraryd 的借阅动作出发,把事件、命令、查询当成三种不同的句子:过去时的事实、祈使的请求、只读的提问。用三个 Java record 和一组可运行的进程内总线实验,展示多播与单接收的差别,并演示命令被广播、事件被点对点投递之后各自坏在哪里。
tag
从 libraryd 的借阅动作出发,把事件、命令、查询当成三种不同的句子:过去时的事实、祈使的请求、只读的提问。用三个 Java record 和一组可运行的进程内总线实验,展示多播与单接收的差别,并演示命令被广播、事件被点对点投递之后各自坏在哪里。
卷三全 50 篇的完整目录:五部分、15 章、45 节,加序、前言与两个附录。每章标注它回答的那个架构问题,并给出三条阅读路径——架构师、开发、评审——以及哪些章节可以跳读、哪些必须配着代码看、每节末尾那条判据在评审时该怎么用,还给出三种路径之外的极简读法。
把这一卷的实验底座写清楚:机器与工具链、Kafka Streams 的最小可运行验证、三个必须自己补的依赖,以及 libraryd-mq 的工程结构与架构图的画法约定。最后说明本卷的验证规矩——什么样的内容算实测,什么情况下必须标注未在本机执行。
从「回声」一次关于要不要拆服务的评审写起,说明团队数、发布冲突率和故障爆炸半径为什么比代码行数更能判断拆分时机,给出可标定的阈值与强、辅助信号的分工,并用 Go 实现的 Trigger 与 Level 把「该不该拆、拆到什么程度」变成可测试、可复盘的判断。
把消息队列当成更可靠的 HTTP,是事件驱动架构最常见也最贵的误用。本序拆开三种典型误用——用 MQ 做同步调用、削峰却不管积压、用事件掩盖领域边界——说明它们各自的失效方式与代价,给出本卷的五条立场和五个自检问题:事件是事实的记录,不是调用的替代品。
《Java 消息中间件》卷三:把业务需求翻译成事件契约、读模型、一致性方案与治理规则。覆盖事件与命令的分界、CQRS 与投影、Saga 与补偿、Kafka Streams 的流表模型、可观测与迁移路径,最后用 libraryd 全链路与场景对照收束。本页为章节索引,逐篇链接随正文落盘补全。
卷四目录与学习路径:13 章按能力、案例、决策三段组织,先给依赖图与三条阅读路线的选择依据,再逐章说明每一节回答什么问题、失败场景是什么、触发与退出条件怎么定,并交代代码分级、数字口径、术语约定、不覆盖的范围、学习节奏与全书读完后的自检标准。
四份可以直接复制的模板:带唯一约束的去重表、状态机迁移、同库同事务的 outbox 与其 relay、以及消费—处理—生产的事务生产者。每份都标注它解决哪一类重复、在什么位置仍会留下窗口、以及拼在一起时不能混用的边界条件,另附一张按场景选模板的决策表。
生产端、消费端、broker 端三张配置表,每一项只回答两个问题:它保住了什么,代价是什么。附六组看起来没问题、实际互相抵消的危险组合,以及一份可以直接抄走的基线配置。默认值按 Kafka 4.3.0 与 kafka-clients 4.3.0 列出。
把卷二四十五章的实验汇总成十八个验收场景,每条给出可执行的判据、证据章节和结论;另外单独列出十项本机做不出来因而不能算通过的检查,说明各自的风险。文末附一份可以直接改造成脚本的检查骨架、0/1/2 打分口径,以及卷二遗留问题与卷三的分工安排,方便团队评审时直接对照使用。
可靠性每一项配置都有账单:副本数乘存储、acks 乘内部复制流量、保留期乘天数、跨集群乘出网。本篇不谈具体价格,只给可核算的量——一天 1000 万条 1 KiB 消息,三档方案各需要多少 GB·天、多少出网流量,以及故障时才支付的副本重建成本。每一档都标出它能防住哪种故障,以及哪一笔钱其实可以不花。
三十条可靠性检查项,分生产端、消费端、broker 与主题、数据链路、运维演练五组。每一条都给可观测的判据、对应的章节、以及不达标时的修改动作——判据都是「做一件具体的事,看一次结果」,不是「已配置」。五组各自附一节最容易做错的地方,末附打分口径与按边际效率排序的修改顺序。
三节点 KRaft 上做一次带流量的完整演练:生产 15000 条、消费者常驻,中途停掉一台 broker。实测故障检测 4 秒、数据面恢复 29 秒、业务面 lag 归零 41 秒,生产者 0 失败。文章把这 41 秒拆成五段,说明哪一段是真 RTO、哪一段是人为停机窗口,并给出可重复的演练脚本要素与判据。
kill -9 一个处理到一半的消费者,实测重复了 61 条:崩溃时处理到 offset 460,最后提交的是 400,重启从 400 继续。再用 SIGSTOP 冻结进程做对照,发现 10 秒后组里变成「no active members」,恢复后从 offset 0 重读。两次实验证明 session.timeout.ms 保护的是「进程卡住」,不是「进程死掉」。
三节点集群停掉一台,5 万条消息里 0 条失败,停机那 5 秒的平均延迟只从 5.8 毫秒升到 6.3 毫秒——因为 ISR 在 3 秒内收缩到 2,leader 自动换了人。同一时刻另一个 min.insync.replicas=3 的主题在 740 毫秒内重试三次后被拒。两种结果的区别不在故障,在配置。
跨集群复制是异步的,异步就有延迟、重复和位移错位。本篇在本机用两个单节点集群加 MirrorMaker2 实测:820 条消息 1:1 复制、逐条端到端延迟尾部 70–113 ms、offset-syncs 记录 0→0 与 519→519,并原样贴出一个与 offset-syncs 对不上的 checkpoint 记录,说明切换前为什么必须自己校验位移映射。
卷四前言:说明读者假设、13 章的组织方式、每章的统一结构、可运行 Go 实验工程的包划分、代码分级、规模与成本口径、三种阅读路径、代码阅读顺序、表格读法与退出条件,以及如何判断自己真的读懂了规模化决策;文中 Go 代码均可在本地逐字节复现。
配额管的是速率,认证和授权才管得住身份。本篇在本机单节点上起一个 SCRAM-SHA-256 加 ACL 的 broker,贴出未授权读取的 TopicAuthorizationException、错误密码的 SaslAuthenticationException、以及 topic 放行但 group 被拒的原始异常;并用同一份生产者对照 PLAINTEXT、SSL、SASL 的握手与稳态延迟。
客户端配额让吵闹的邻居变慢,而不是被踢掉。本篇在本机单节点上把 producer_byte_rate 配成 1024 B/s,用同一个 Java 生产者跑配额前后两组对照:385 ms 变成 15943 ms,客户端 produce-throttle-time 平均值 782 ms,16 条消息全部 ack、没有一条被拒;再给出按 client-id、按 user、按前缀与物理隔离的多租户方案。
fetch.min.bytes、fetch.max.wait.ms、max.poll.records 三个参数一起调时,批次不是越大越好。本机用 20 万条固定积压跑四组参数,1MB 组比 100 条组快 1.4 倍,而 8MB 组因为超过单次 fetch 上限,每次等待 1 秒、吞吐掉到二十四分之一。附 poll 延迟 p99 与调参顺序。