如何阅读
- 系统学习:点击「开始阅读」,先了解这本书的学习路径,再按章节顺序通读。
- 查找章节:点击「全书目录」,直接查看分章索引,跳到需要的小节。
- 选择起点:初学者先读入门卷,有基础的读实战卷,研究语言机制的读高级卷或系统编程卷。
这些电子书以网页章节形式在线阅读。每个系列围绕一个完整主题编排,技术书稿与创作手记按领域分别收录。
在线书架 / BOOKS
从第一章开始,把知识读成体系。
按领域与学习阶段整理的在线电子书与创作手记。覆盖 Rust、Lua、TypeScript、Python、Java(编程入门 + 编程实战 + 高级编程 + Spring Boot + 虚拟机原理与性能调优 + 网络编程基础 + Netty 高性能网络编程 + 服务端通信工程 + 并发编程·线程与内存模型 + 并发编程·JUC 源码与容器 + 并发编程·性能诊断与事故)、Go、后端架构设计(架构基础与边界 + 高性能与高可用 + 分布式与数据一致性 + 演进与治理,四卷本 180 篇)、互联网产品的服务端架构(产品、流量与基础能力 + 内容、社交与实时互动 + 交易、增长与平台化 + 规模化与架构演进,四卷本 180 篇)、互联网产品的客户端架构(端形态与体验基础 + 内容、社交与实时互动 + 交易、增长与平台化 + 规模化与架构演进,四卷本 180 篇)、互联网产品的 AI 架构(模型接入与能力边界 + 推理性能与成本工程 + 多能力编排与任务闭环 + 平台化与治理,四卷本 180 篇)、移动游戏产品的架构(客户端与移动运行时 + 网络、资源与热更新 + 商业化与发行工程,卷一至卷三已发布,四卷本规划 180 篇)、AI Agent 产品开发(任务定义与能力边界 + 交互、信任与上线 + 组织、平台与规模化,三卷本 135 篇)、AI Agent 游戏产品开发(玩法、实时与玩家信任,单卷 45 篇)、AI 产品的商业化(价值与定价 + 成本、毛利与收入运营 + 渠道、企业与规模化,三卷本 135 篇)、独立开发者的商业指南(收入与财务工程 + 合同、应收与风险 + 资本与退出,三卷本 135 篇)、独立开发者的商业实战(获客与渠道实战 + 成交与交付实战 + 经营节奏与交易实战,三卷本 135 篇)、独立开发者的生存指南(个人韧性与可持续 + 业务韧性与抗风险 + 退出重启与交接,三卷本 135 篇)、AI Agent、MMO 服务器开发(Go 主线 + Java 21 双栈对照,四卷本 180 篇)、游戏服务端架构(品类、状态与拓扑 + 核心系统与契约 + 规模化、全球化与成本 + 平台化与架构治理,四卷本 180 篇)、游戏开发(含 Cocos 四卷本与《游戏引擎实现原理》四卷本)、SLG 游戏产品设计(产品架构与经济系统 + 数值平衡与商业化运营,两卷本 100 篇)、小游戏开发实战(市场品类与产品设计 + 引擎实现与体验打磨 + 上线变现与长线运营 + 商业运营实战 + 跨平台发行与出海,五卷本 250 篇)、游戏美术与技术美术(美术制作与视觉规范 + 技术美术与管线工程 + 风格与品类美术实战,三卷本 150 篇)、游戏设计(玩法机制与可执行规格 + 策略、涌现与体验度量 + 原型、可玩性与品类,三卷本 150 篇)、计算机图形学(几何、变换与光栅化 + 着色、光照与纹理 + 光线追踪与全局光照,三卷本 150 篇)、叙事策划与叙事工艺(叙事结构与可执行规格 + 叙事引擎与分支系统 + 叙事体验与路径度量,三卷本 150 篇)与文学创作,从阅读指南进入,或按全书目录查找章节。
了解阅读方式4 部书稿
从所有权与借用,到工程实战与系统编程。
3 部书稿
从脚本基础,到语言机制与游戏业务。
2 部书稿
从客户端引擎,到服务端架构与完整项目。
4 部书稿
用 Go 从零实现一套能真跑、能压测、能跨服的 MMO 服务端 aegis,Java 21 作为双栈对照。
用 Go 从零实现 aegis 的网络底座:协议、KCP、会话、路由、定时器、Actor、同步模型与安全,直到能登录、能移动、能广播的最小服务器。
把玩法装进底座:实体运行时、AOI、战斗、背包、任务、社交、交易与匹配,把《晨曦大陆》做成单服可玩。
把单服推成集群:服务发现、RPC、网关集群、实例调度、跨服玩法、缓存、分库分表与分布式事务。
把服务端交付并长期运营好:压测、性能、可观测性、部署发布、配置热更、数据分析、GM 后台与容灾演练。
4 部书稿
从零手写 2D 运行时,到 Cocos Creator 3.8 交付产品,再到引擎内部与客户端联机。
手写 mini2d 运行时打通帧循环、渲染、物理与存档,每章对照 Cocos Creator 3.8。
用 Cocos Creator 3.8 交付《方块冲刺》,走到 H5 / 微信小游戏 / 原生三端上线。
深入渲染管线、Effect 体系与内存性能,学会读源码、裁剪引擎并评估升级。
从预测与和解到弱网降级,用可单测的纯逻辑实现《方块冲刺》双人竞速客户端。
4 部书稿
用 TypeScript 从零实现一个 3D 游戏引擎:内核、渲染、子系统与工具,直到工程化交付。
用 TypeScript 从零写出 helio 内核:内存、句柄、ECS、任务与反射,直到《微光岛》第一个能走动的方块。
从 RHI 三后端到帧图与后处理,把《微光岛》的小岛真正渲染出来。
资源管线、动画物理音频输入与脚本热重载,外加一套能编辑、能撤销、能存盘的编辑器。
构建、测试、性能、跨端与交付:把《微光岛》从能跑推到能发,并做跨引擎对照。
3 部书稿
按入门、实战、高级三步,建立类型与工程能力。
从基本类型、函数与泛型,到类型建模、模块和工程配置,以全栈项目收尾。
面向项目交付,覆盖测试、服务端与数据层、前端类型实践、API 契约及部署运维。
面向库与工具链作者,深入类型级编程、编译器 API、声明发布和运行时边界。
3 部书稿
从语言基础与工程交付,深入 CPython 与性能优化。
面向零基础读者,从数据结构与函数,到类型注解、并发异步、测试打包与应用项目。
从工程脚手架出发,实践 Web 服务、数据访问、后台任务、自动化与生产部署。
深入 CPython 对象模型、字节码、GC 与并发运行时,理解扩展机制和性能工程。
13 部书稿
从 Java 语言与 JDK 基础,到服务端工程实战、语言机制与并发、Spring Boot 入门、工程实战与框架内部机制,再到 JVM 运行时与性能调优、JDK 原生网络编程与 Reactor 模型、Netty 高性能网络编程与自定义协议工程,最后到 gRPC 服务端通信工程与流量治理。
面向 Java 初学者,以 library 项目贯穿语言基础、标准库、测试与打包交付。
以 libraryd 服务为主线,从多模块工程、数据访问、HTTP 服务到可观测性、测试与容器化交付。
在 libraryd 上重写类型、反射、并发与平台边界,把「会用」推进到「知道为什么」。
面向零基础读者,从环境搭建与第一个接口,到 Web、数据访问、测试与完整项目。
从工程脚手架出发,实践 Web 服务、数据访问、缓存、消息与生产部署交付。
深入容器、自动配置、AOP、请求管线与事务机制,理解框架内部与 3.x 到 4.x 迁移。
把同一个服务当成观测对象:每条 JVM 结论都要落到一条命令、一份日志或一个转储上。
只用 JDK 原生 Socket 与 NIO,从字节流、帧、Reactor 一路写到 HTTP/1.1、HTTP/2、TLS 与 WebSocket。
用 linkd-v2 把卷一手写的 Reactor、拆帧与协议替换成 Netty 4.2 组件,并补齐连接池、背压、HTTP/2、诊断与调优。
把卷二写好的 Netty 能力放回服务端工程:用 gRPC 契约、服务发现、流量治理、可观测性与容量演练,把 linkd-v3 从能通做到可运营。
把「会开线程」推进到「知道每条规则在什么条件下成立」,用可复现实验校准每个并发结论。
以 JDK 25 源码为准读 JUC,用 javap、JOL 与 JMH 校准每段摘录,回答「为什么这样实现」。
从「现象」走到「证据」:用 JFR、JMH、JCStress 与压测把并发故障定位到具体一行,而不是靠经验猜。
4 部书稿
从语言入门到工程实战,再到高级特性与运行时原理。
3 部书稿
从零手写 Agent 引擎,到工程化服务,再到框架重写与生产化加固。
从零手写 Agent 引擎 minagent,把消息、工具、记忆、编排、评测到服务化逐章跑通。
把引擎装成可上线的研究助理服务,覆盖接口、数据、并发、可观测与部署交付。
用主流框架重写研究助理并剖析源码,补齐持久化、计算机使用、A2A 与生产化加固。
1 部书稿
一部长篇科幻小说的创作过程与长期写作经验。
2 部书稿
把 SLG 的产品与数值设计写成可验证的模型:每节配可跑的数值仿真与可玩原型,一份配置同时驱动仿真与玩法,产出一份可交付的设计案。
把 SLG 的产品架构与经济闭环写成可验证的模型:定位、系统地图、产出消耗闭环、通胀治理与市场风控。
把 SLG 的数值平衡与商业化写成可验证的模型:成长曲线、战斗与抽卡数值、匹配、赛季膨胀与 LTV 建模。
5 部书稿
把小游戏从市场分析、产品设计、引擎实现、上线变现与长线运营,一直写到商业运营与跨平台出海,共五卷 250 篇:按章节提供 Python 仿真、TypeScript 逻辑内核与单文件 HTML 原型,一份 config 同时驱动仿真、内核与原型;已有局部示例与配套工程验证;具体通过范围以对应目录说明为准,逐章语义、练习和真实外部环境另行验收。
从市场规模与品类加权选型到核心循环、立项文档与收入预测,把「做什么、给谁做、怎么算账」写成可跑的仿真。
从引擎选型、分包与渲染适配到逻辑内核、平台 API 抽象与体验打磨:一份逻辑两种宿主,改一个数字三处结果都变。
从广告与内购变现、LTV 回本、买量增长到上线合规与长线退场,最后把三卷装配成一份可交付的上线方案。
从投放后台与出价放量、广告聚合与广告位配置、渠道联运与版号资质到结算现金流,把「钱怎么花出去、怎么收回来、怎么算清」写成可跑的模型。
从海外平台矩阵与 SDK 接入、i18n 资源管线与本地化质量、数据合规与跨境结算到海外买量与出海方案装配,把「发到国门之外」写成可跑的模型。
3 部书稿
把游戏美术从视觉规范、资产预算、命名与评审,到技术美术的管线、门禁与中台,一直写到像素、低多边形、体素、赛博等风格与品类的可测化与跨风格一致性,共三卷 150 篇:三卷累计工程的 221 条明确命令及同范围 ZIP 独立解压回归已通过;按章演进、全卷事实/练习与真实环境另验。
从美术生产分工、色彩 token、命名与预算到 UI / 图标 / 角色 / 场景 / 特效规范与 Art Bible 装配:把「美术该定什么值」写成可跑可校验的规范。
从资产导入校验、依赖图环检测、图集与 LOD 预算到门禁规则引擎、中台与外包成本:把「规范怎么接进生产」装成一条 10 阶段管线。
从风格三维与距离矩阵、像素 / 低多边形 / 体素 / NPR 各风格的代价到 6 主题实例化:同一份规范换六套参数,6 次全过并给出 6×6 距离矩阵。
3 部书稿
把玩法机制写成可执行规格、把策略涌现与玩家体验操作化为可算指标、再把同一份规格实例化到六个品类并过可玩性闸门,共三卷 150 篇:三卷累计工程的 235 条明确命令及同范围 ZIP 独立解压回归已通过;按章演进、全卷事实/练习与真实环境另验。
从机制解剖、可执行规格、S / P / W / B 四处消费到反馈循环与随机性结构:把「一份玩法规格」写成可跑、可证明、跨宿主一致的规格。
从策略空间熵、支配检测、涌现度量到相变、心流带宽与体验指标:把「好玩」拆成能算的量,只做相对比较、不用于证明好玩。
从纸面原型、数字内核、可玩原型到六个品类变体与统一闸门:同一份规格实例化六次,6 / 6 通过并给出 6×6 机制距离矩阵。
3 部书稿
把一次渲染还原成一组可复现的整数、把颜色还原成可算的量、再把光还原成可估计的积分,共三卷 150 篇:三卷累计工程的 361 条明确命令已按真实输入与环境复跑;完整配套提供独立验收入口,按章演进、全卷事实/练习和真实 GPU 另验。
从向量与矩阵的定点化、三角形与直线的整数光栅化到深度、裁剪、纹理与跨语言逐位一致:把一次渲染还原成一组可复现的整数。
从光照模型、BRDF 能量守恒、阴影偏差到色彩空间、程序化纹理与后处理:把「颜色从哪来」写成可逐像素断言的量。
从光线求交、BVH 遍历代价、蒙特卡洛方差到路径追踪、辐射度、光子映射与体积渲染:把光还原成一个可估计、可度量、可复现的积分。
3 部书稿
把故事还原成一份可穷举、可执行、可度量的规格,共三卷 150 篇:三卷累计工程列明 229 条命令;最长路算法已改为拓扑序并补独立回归,配套提供完整验收入口,按章演进、全卷事实/练习与真人体验另验。
从世界、角色、节拍到条件与状态:把一份故事还原成九段可校验的规格字段,并让它可穷举、可执行、可度量。
从条件求值、状态推进到确定性回放与存档:把一份叙事规格还原成一台可跨语言断言的状态机。
从路径编码、覆盖率、结局分布到张力曲线与一致性残差:把玩家走出来的路径还原成一组可算、可复现、且诚实标注局限的整数。
4 部书稿
从架构问题、边界与模块,到契约、数据、异步、性能、一致性、演进与治理;以 Go 订单系统 arch-lab 为主线,Java 21 对照。
用 arch-lab 把边界、决策、契约、数据与演进写成可运行、可检查的架构基线。
沿着同一条订单链路,把度量、容量、过载治理、故障切换和发布回滚做成可运行的工程能力。
把跨库、跨节点、跨时钟的下单链路拆成可注入的失败窗口,用代码、测试和对账证明它最终一致。
把拆分、发布、观测、平台与成本做成带触发条件、退出条件和责任人的治理闭环。
4 部书稿
以品类、状态、时间、连接、权威五个变量为主线,对照北辰工作室三款产品,讨论拓扑选择、核心系统、规模化与架构治理;每节附可运行的 Go 夹具或决策表。
把品类还原成产品事实,用状态、时间、连接与权威四个变量推导拓扑,并以三款产品的基线卡和决策矩阵收口。
把每个核心系统的口头约定写成分区明确、可检查、可评审的契约,并用三款产品演示契约强度的取舍。
把容量、地域、成本与合规的规模决策写成可复算的表、状态机与评分矩阵,并用三款产品演示不同答案。
把复用与协作写成平台契约、状态机、检查清单与治理规则,并用三款产品演示平台化的不同边界。
4 部书稿
从产品约束出发,把账号、资料、多端、入口、缓存、异步、内容、Feed、社交、IM、推送、交易、增长、规模化、成本与架构演进写成一条可运行的线。
4 部书稿
从端上约束出发,把端形态、体验质量属性、分层依赖、状态、路由、数据层、组件、构建、渲染、错误降级与端上观测写成一条可运行、可回归的线;再延伸到内容消费、社交关系与实时互动,商品、订单、支付、对账、优惠、会员与增长,最后讨论多端一致性、设计系统、插件化、性能与稳定性治理、构建交付、可观测性、安全隐私、国际化、无障碍、架构治理与迁移,把五个端的长期承诺写成可检查的边界。
4 部书稿
从模型接入出发,把能力契约、模型选型、网关、路由、流式、提示、结构化输出、预算、缓存、降级、安全与观测写成一条可运行、可回归的线;再把推理性能、成本工程与多能力编排扩展到规模化场景,最后落到多团队、多租户下的平台化与治理。四卷均已发布。
先把「能力承诺什么、失败时怎么办」写清楚,再谈模型与供应商;接入模型不是接一个 API,而是把不确定性关进契约。
先把每一毫秒与每一分钱解释清楚,再谈优化;用单变量对照实验与联合门禁,把成本降低与质量回退分开验收。
单能力优化节点,多能力编排优化的是边;把交接成本、失败预算与权限边界写进契约,编排才不会把单点问题放大成系统问题。
治理不是多写流程,而是让每条流程都有字段、判据与负责人:所有权决定谁负责,版本决定谁能升级,配额决定谁先被保护,评测与合规决定什么可以上线。
3 部书稿
从同一 IP 下的休闲与中重度两款产品出发,把客户端分层、引擎与原生壳边界、生命周期与恢复、配置驱动、资源与内存、UI 与输入、帧率功耗、存档、区域化与可观测性,网络协议、重连离线、流量成本、资源分包、热更灰度与 CDN 下载,以及账号渠道、支付订单、广告归因、风控、LiveOps、埋点、推送深链与发行合规写成一条可运行、可复盘的判断链;四卷规划 180 篇,卷一《客户端与移动运行时》、卷二《网络、资源与热更新》、卷三《商业化与发行工程》各 45 篇已发布,后续一卷覆盖平台化与治理。
3 部书稿
从收入与财务工程,到合同、应收与风险,再到资本与退出;三卷共用三个案例与一套财务口径。
3 部书稿
从价值与定价,到成本、毛利与收入运营,再到渠道、企业与规模化;三卷共用 LumenDesk、Verba API、ClausePilot 三个教学案例与同一套可复算口径,每节配可运行的 TypeScript 断言。三卷均已发布,共 135 篇。
3 部书稿
从获客与渠道,到成交与交付,再到经营节奏与交易;三卷共用 ClinicQueue、DevTape、ChartKit 三家教学公司与同一套可复算口径,每节配可运行的 TypeScript 断言。三卷均已发布,共 135 篇。
3 部书稿
从个人韧性,到业务韧性,再到退出与重启;三卷共用 A 林叙、B 周牧、C 陈屿三位教学人物与同一套可复算口径,每节配可运行的 TypeScript 模型与 45 项生存评审。三卷均已发布,共 135 篇。
3 部书稿
从任务定义与能力边界,到交互、信任与上线,再到组织、平台与规模化;三卷共用 A Relay(建议档)、B Quill(草稿档)、C Runner(执行档)三个教学案例与同一套可复算口径,每节配可运行的 TypeScript 模型与 45 项评审。三卷均已发布,共 135 篇。
1 部书稿
从玩法约束下的任务定义,到实时性、确定性与公平,再到内容审核、经济付费、群体涌现与组织治理;单卷 45 篇共用《潮汐消消》(陪伴型)与《潮汐方舟》(实时型)两个游戏案例与同一套可复算口径,每节配可运行的 TypeScript 模型、四维成熟度分级与 48 项评审。单卷 45 篇已发布。
游戏里的 Agent 不是聊天框的变种:它要在毫秒级预算里决定动作,在玩家能随时退出的对局里承担后果;玩法有效、实时可控、玩家信任三件事同时成立,才配叫游戏 Agent。
3 部书稿
从模型能力边界,到决策、记忆与学习,再到运行时、协议与系统架构;三卷共用 W1 检索问答、W2 代码修复、W3 运维处置三条工作负载与同一套可复算口径(附录 B 为数字唯一来源),每节配可运行的 Python 实验工程 agp-lab,18 项评审合计 36 分、通过线 28。三卷共 135 篇。
先回答「模型到底能做什么、不能做什么」,再谈怎么证明;能力边界说不清,决策与运行时都建立在沙地上。
决策不是提示词里的一句话:终止、记忆、检索与学习都要落成运行时可验证的结构,否则选动作就是碰运气。
选好的动作怎么被可靠地执行、恢复与终止;可靠性不是平时不坏,是故障下知道什么条件能恢复、什么条件会坏、坏了能不能说清楚。
4 部书稿
延续 helio 引擎与《微光岛》,用 TypeScript 从零实现一个工业级可用的游戏编辑器:架构内核、资产管线、视图与子编辑器、扩展与规模化;每个抽象从零实现并真跑,同时对标 Unity / Unreal / Godot / Cocos Creator 的真实取舍。
从「最小编辑器骨架」推进到「工业级架构内核」:每个抽象从零实现、每节代码真跑,并给出 Unity / Unreal / Godot / Cocos Creator 的取舍对照。
从「资产浏览器最小骨架」推进到「工业级资产管线」:双态资产模型、增量导入、依赖追踪、构建导出、VCS 协作,每个抽象从零实现并真跑。
从「最小可用编辑器的视图侧」推进到「工业级视图、交互与子编辑器」:多视口、ID 缓冲拾取、Gizmo 三手柄、Inspector 深化、Play 快照、节点图求值、六类子编辑器,每个抽象从零实现并真跑。
从「单机编辑器」推进到「可扩展、可调试、可规模化的工业级编辑器」:扩展框架与脚本 API、热重载与调试器、Profiler、远程预览、协作编辑、云编辑器、构建发布与自动化测试,每个抽象从零实现并真跑。
4 部书稿
逐字节解析真实开源 C++ 渲染引擎 OGRE v14.6.3(Tsathoggua)的源码:核心架构与资源系统、渲染系统与后端、场景内容与特效、扩展调试与规模化;正文摘录真实源码并标注文件与函数,每节配可编译的 C++ 最小验证。
以真实 OGRE v14.6.3 为对象做源码解析:每节摘录源码 + C++ 最小验证,把内核的每一层架构读透。
以真实 OGRE v14.6.3 的渲染系统为对象:从 RenderSystem 抽象到 GL/Vulkan/Metal/D3D 后端,每节摘录源码 + C++ 最小验证,把渲染层的每一层架构读透。
以真实 OGRE v14.6.3 的场景内容与特效为对象:从 Entity/Light/Camera 到粒子/地形/天空/布告板/Overlay/RTSS,每节摘录源码 + C++ 最小验证,把场景层的每一层架构读透。
以真实 OGRE v14.6.3 的扩展体系为对象:从插件/自定义对象/资源到材质脚本、实例化、着色器、Bites、后端、剖析、流式、工具链、集成、内存、测试,每节摘录源码 + C++ 最小验证,把扩展层的每一层架构读透。
3 部书稿
从平台规模、角色结构与平台对比出发,依次处理商店前端与页面结构、标签分类、发现机制、评测系统、愿望单、社区中心、分析口径、账号分发、收入分成、平台规则、机制互动、平台经济学、品类观察,以机制全景图与设计原则收口;卷二以 Steamworks SDK v1.65 头文件为准,处理接入的接口工程语义:初始化、身份与票据、成就统计、云存储、覆盖层与好友、App 信息与 DLC、创意工坊、网络与服务器、构建分发、测试预览、回调异步、库存微交易、平台服务集成与接入工程规范;卷三处理买断制游戏的发行、定价与商业化决策:发行战略与预算、定价体系、愿望单与预售、折扣与促销、商店页转化、营销渠道、社区口碑、单位经济、内容版本、退款客服、早期接入、多平台、财务现金流与长线运营。三卷各 45 篇,卷一配 C++ 仿真 lab(steam-platform-lab)、卷二配 C++ mock SDK lab(steam-sdk-lab)、卷三配 C++ 商业仿真 lab(steam-launch-lab),每个机制与决策都给可编译验证。
机制位书稿:讲 Steam 平台如何运作(发现、评测、愿望单、社区、分成、规则),始终回答平台机制如何决定设计、定价与商业模型;每节配可编译的 C++ 仿真验证机制的量级与推论。
工程位书稿:讲 Steamworks SDK 接入的接口语义与机制(初始化、票据、云存储、网络、服务器、分发、回调异步、库存),每节配可编译的 C++ mock 复刻真实接口,签名对照 SDK v1.65 头文件,验证接入工程的机制逻辑。
商业位书稿:讲给定独立工作室与买断制游戏,发行、定价与商业化决策怎么定(定价、愿望单、折扣、漏斗、渠道、退款、现金流、长线),每个决策配可复算的 C++ 商业仿真模型,金额整数美分,商业数值分三类口径:可实证给来源、官方登录后可见以官方当前为准、模型参数标模型假设。
4 部书稿
以 K8s 控制面真实组件为对象,逐层拆解分布式系统原理:卷一以 etcd 与 Raft 讲共识与存储(一致性/时钟/选举/日志复制/安全性/成员变更/快照/线性一致读),卷二以控制面讲调谐循环(对象模型/informer/控制器/准入/限流/选主),卷三以调度器与资源系统讲分布式决策与控制(队列/Filter/Score/抢占/拓扑/QoS 驱逐/弹性伸缩/节点伸缩);每节配一个可运行的 Go 最小验证,复现机制语义。卷四以网络、存储与多集群机制讲一致性边界(扁平网络与 IPAM/Service 与 kube-proxy/DNS 与七层治理/存储抽象与 CSI/有状态分布与容灾/联邦与跨集群流量/读路径与脑裂/混沌工程)
以 K8s 控制面真实组件(etcd + Raft)为对象讲分布式系统原理:每节一个可运行的 Go 最小验证,把一致性/共识/存储/事件机制读透。
拆解 kubectl apply 之后的全链路:对象模型、informer、控制器、准入、限流、选主——控制面从声明到收敛的自洽系统,每节一个可运行的 Go 最小验证。
从调度决策到弹性伸缩的完整控制链路:队列、Filter/Score、抢占、拓扑、QoS 驱逐、HPA/VPA/KEDA、节点伸缩——每节一个可运行的 Go 最小验证,把分布式决策与控制的机制读透。
从数据流动到一致性边界的完整图谱:扁平网络与 IPAM、Service 与 kube-proxy、DNS 与七层治理、存储抽象与 CSI、有状态分布与容灾、联邦与跨集群流量、读路径与脑裂、混沌工程——每节一个可运行的 Go 最小验证,把网络、存储、多集群与一致性边界的机制读透。
13 部书稿
以 MapReduce/HDFS 到 Spark/Flink 再到 MPP 引擎的内核为对象,逐层拆解大规模分布式计算的原理:卷一〈计算模型与分布式文件系统〉讲计算模型、分布式文件系统、调度/Shuffle/YARN、一致性与性能模型,以及 SQL/DAG/图模型与内存计算动机(bd-fs-lab,140 条教学模型断言);卷二〈批处理引擎:Spark 内核〉以 RDD 血缘重算为主线,讲分区与依赖、DAG 调度、Shuffle、内存管理、执行容错与精确一次、Catalyst 与结构化流(bd-spark-lab,111 用例);卷三〈流计算与状态引擎:Flink 内核〉以状态检查点为主线,讲时间与水位线、窗口、状态后端、端到端精确一次、背压与 credit 流控、两阶段提交、动态表与流批一体(bd-flink-lab,145 条教学模型断言);卷四〈调度、数据湖与分布式训练〉以目录事务与训练步同步为主线,讲调度与抢占、Iceberg/Delta 表格式、远程 Shuffle 与倾斜执行、数据/模型并行与 AllReduce、ZeRO 与弹性容错(bd-scale-lab,108 用例);卷五〈执行引擎与存储格式内核〉以一条查询从计划到算子到磁盘字节的性能根因为主线,讲火山/向量化/Push 执行模型、表达式与代码生成、Parquet/ORC 与编码压缩、zone map 与布隆过滤、谓词下推与延迟物化、join 与聚合算子、CBO 与 AQE、存算分离与云数仓、实时湖仓与性能工程(bd-engine-lab,116 用例);卷六〈分布式 SQL 执行与 MPP 内核〉以同一套算子如何跨节点执行为主线,讲计划分裂与 fragment、hash/range/replicate 分布与倾斜、repartition/broadcast/gather 与 exchange 流控、分布式 join/聚合/排序 TopN、查询队列与资源组和 spill、connector 与联邦查询、物化视图与自动改写、缓存与湖仓加速、partial retry 与取消回收、Trino/StarRocks/Doris/ClickHouse 对比、查询网关与语义层(bd-mpp-lab,113 条 Java 模型断言,附 SQL 反例和 Trino 484 探针);卷七〈分布式一致性、复制与事务内核〉以多副本如何安全地共同持有一份数据为主线,讲一致性模型与会话保证、复制日志与提交点、读写多数派交集与尾延迟、Paxos 与 Raft、物理时钟与向量时钟/HLC/TrueTime、ReadIndex 与租约读、单步成员变更与脑裂防护、2PC 与启发式决策、MVCC 与写偏斜、跨分片时间戳、fencing 锁与选主、多区域 RPO 与多活冲突、升级回滚与混沌验证(bd-cons-lab,95 条 Java 模型断言,附 etcd 3.6.0 和 PostgreSQL 18 原生探针)。;卷八〈分布式存储与 KV 引擎内核〉以数据到底如何被持久化与检索为对象,讲存储介质与 IO 账本、LSM-Tree 与布隆过滤、Compaction 放大三角、WAL 与崩溃恢复、分布式 KV 的分片/事务/副本、二级索引与物化、三级缓存与分布式缓存、对象存储与存算分离、内存 KV 与 AOF/RDB、时序与日志存储、引擎选型(bd-store-lab,120 条 Java 模型断言,附 sqlite3 3.51.0 原生探针与观测记录);卷九〈分布式消息与事件流平台内核〉以一条消息如何被可靠写入、复制与读走为对象,讲消息模型与分区有序、追加日志与段、页缓存与两级索引、副本因子与 ISR 高水位、Leader Epoch 与 min.insync、生产路径(acks/批量/幂等)、消费路径(拉取/lag)、重平衡协议(JoinGroup/SyncGroup/Eager/Cooperative)、事务与端到端精确一次、二进制协议与配额、控制器与 KRaft、Pulsar 分段存储与 BookKeeper 的写入与确认集合、RocketMQ CommitLog 与同步双写、事件流处理(DAG/流表二象/窗口)、可靠性工程与平台对照(bd-mq-lab,120 条 Java 模型断言,附 Kafka 4.3.0 原生探针与观测记录);卷十〈分布式检索与搜索引擎内核〉以一份数据如何被高效检索、打分与聚合为对象,讲检索问题域与倒排索引、倒排构建与更新、词典与 FST、Lucene 段与提交点、段合并与删除墓碑、分片与 _id 哈希路由、副本异节点与故障域、节点角色与集群状态、协调扇出归并、查询执行与 query-then-fetch、深分页(from/size/scroll/search_after)、BM25 相关性排序(k1/b/idf/长度归一化/boost)、桶聚合与 cardinality 近似、写入路径与 translog、primary-backup 复制与 wait_for_active_shards、副本一致性与近实时读、主分片选举与 recovery、扩容与再平衡、可观测运维、向量 kNN 与 HNSW、同义词建议与生态集成(bd-search-lab,147 条 Java 模型断言,附 OpenSearch 2.19.7 原生探针与观测记录)。;卷十一〈图计算与图数据库内核〉以一份数据的关系如何被遍历、分析与查询为对象,讲图模型与表示、免索引邻接、BSP 超步引擎、图切分与分区、PageRank 与图算法、Neo4j 存储文件族、图查询语言与执行、图事务与锁、因果集群、图计算生态、中心性与社区、子图同构与模式物化、知识图谱与图向量混合检索(bd-graph-lab,150 用例,附 Neo4j 5.26.33 原生探针与观测记录)。卷十二〈实时 OLAP 与列存分析引擎内核〉以一份数据如何被实时聚合分析为对象,讲 OLAP 演进与列式存储、编码压缩、排序键与稀疏索引、MergeTree 分区合并、实时写入路径、向量化执行与 SIMD、分布式表与两阶段聚合、物化视图与 Projection、二级索引与分区裁剪、外部数据源集成、多副本一致性与 Quorum、冷热分层与弹性、EXPLAIN 与 TPC-H 剖析(bd-olap-lab,198 用例,附 ClickHouse 24.8 原生探针与观测记录)。;卷十三〈向量数据库与 AI 检索内核〉以一份数据如何按相似度被索引、检索与调整为对象,讲向量检索问题域与相似度度量、HNSW 多层图索引、IVF 与 PQ/SQ 量化、磁盘向量索引与 DiskANN、批量导入与段管理、查询执行与束搜索、过滤与混合检索、分片路由与副本、写入可见性与复制一致性、容量规划与弹性、元数据与 schema、缓存与 IO、评估指标与调优、Milvus/Qdrant/pgvector 引擎对照与自研骨架(bd-vector-lab,205条Java断言及跨模块夹具,附Milvus2.5.4精确GT、读屏障、分区与双路RRF隔离探针)。
围绕任务重放、文件布局、写入确认与资源调度建立机制合同;140条Java教学模型断言。附Hadoop3.4.2 MiniDFS的管线、尾块append与租约恢复探针,以及本地FileOutputCommitter验证;不外推断电、HA或任意外部副作用。
RDD依赖、Stage复用、Sort Shuffle、内存与执行恢复、Catalyst和结构化流。分别说明RDD与SQL分区参数、逻辑块与最终文件,附111条Java模型断言和Spark 3.5.7原生对照;模型不替代完整调度器。
统一水位线/idle、窗口触发/清理、JVM/native内存、完成点与外部提交边界。验证真实迟到侧输出、源状态恢复、无checkpoint批失败重算与映射拒绝;模型不替代完整连接器协议或分布式性能实验。
以调度、数据湖表格式与分布式训练通信为对象讲平台层原理:资源调度与抢占、Iceberg/Delta 的目录事务、远程 Shuffle 与倾斜、数据/模型并行与 AllReduce、同步异步 SGD 与 ZeRO、工作流与可观测性——每节一个可运行的 Java 最小验证,把「目录事务与梯度归约与训练步同步」这两种新的一致性边界读透。
以一条查询从计划到算子到磁盘字节的性能根因为对象讲引擎内核:执行模型、表达式与代码生成、列式格式与编码、统计裁剪与谓词下推、join 与聚合算子、CBO 与 AQE、存算分离、现代引擎与云数仓、实时湖仓表模型与性能工程——每节一个可运行的 Java 最小验证,另有 DuckDB 原生对照,用实际 Parquet 元数据和 SQL 结果核对扫描与连接。
以同一套算子如何跨节点执行为对象讲 MPP 执行层:计划分裂与数据分布、exchange 与流控、分布式 join/聚合/排序、admission control 与 spill、connector 与联邦查询、物化视图与缓存、湖仓加速、容错与引擎对比、查询网关与语义层——每节一个可运行的 Java 最小验证,把「交换字节与调度账本」这条跨节点一致性边界读透。
以多副本如何安全地共同持有一份数据为对象讲共识与事务内核:一致性模型与会话保证、复制日志与提交点、quorum 交集与尾延迟、Paxos/Raft 的选举与快照、物理时钟与向量时钟/HLC/TrueTime、ReadIndex 与租约读、单步成员变更、2PC 与启发式决策、MVCC 与写偏斜、跨分片时间戳、fencing 锁、多区域 RPO 与多活冲突。实验从本地三节点隔离、一致读和备份恢复,到事务写偏斜、持久化 prepared 与目标存储拒绝旧代次。
以数据到底如何被持久化与检索为对象讲存储内核:介质与 IO 账本、LSM-Tree 与布隆、写读空间放大三角、WAL 与崩溃恢复、range/hash 分片与路由、单/跨分片事务、多数派副本与选主、本地与全局二级索引、三级缓存与分布式缓存、对象存储与存算分离、Redis 内存模型与 AOF/RDB、时序与消息日志存储、RocksDB/Badger/WiredTiger 与 TiKV/CockroachDB 选型。实验从页与顺序/随机写、WAL 重放与 checkpoint,到覆盖索引、快照隔离与缓存配置账本。
以一条消息如何被可靠写入、复制与读走为对象讲事件流平台内核:主题与分区有序、追加日志与段、页缓存与顺序写、两级索引、副本因子与 ISR 高水位、Leader Epoch 与 min.insync、acks 三档与批量幂等、拉取与长轮询、offset 提交与 lag、重平衡协议、事务协调器与 2PC、端到端精确一次、record batch 与版本协商、配额限流、控制器与 KRaft、Pulsar ledger/bundle/存算分离、RocketMQ CommitLog/同步双写/延迟事务消息、事件流拓扑与流表二象、数据丢失防护与可观测性。实验从分区路由、消息字节、页缓存与索引、ISR 高水位、acks 与幂等,到 2PC 与 read_committed、bundle 路由与延迟档位、窗口与物化重建,附 Kafka 4.3.0 生产/消费吞吐与延迟分位实测。
以一份数据如何被高效检索、打分与聚合为对象讲搜索引擎内核:全表扫描到倒排、posting 与文档频率、delta/varint/bitpacking 压缩、内存倒排批量构建、增量更新与不可变段、词典与 FST、段提交点与文件族、terms/postings/norms/stored fields/doc values、refresh 与 flush、tiered 合并与墓碑删除、_id 哈希路由与 _routing、副本异节点与故障域、节点角色与集群状态、协调扇出归并、query-then-fetch 两阶段、from/size/scroll/search_after 深分页、BM25 的 k1/b/idf/长度归一化与多字段 boost、terms/date_histogram/cardinality 聚合、translog 写入路径、primary-backup 与 wait_for_active_shards、近实时一致性与副本偏好读、主分片选举与 recovery、扩容不重哈希与再平衡、慢查询与命中率账本、向量 kNN 与 HNSW、同义词建议与生态集成。实验从倒排构建与压缩、段与合并、分片路由、查询树、BM25 打分、桶聚合、primary-backup 复制到协调扇出,附 OpenSearch 2.19.7 单节点 match/explain/聚合/refresh/分片分布实测。
沿入口定位、邻接展开、超步状态、提交与恢复理解图系统。附每章机制图、非对称算法反例、受限查询和事务模型;原生探针不宣称验证Enterprise集群、断电、GDS或向量检索。
分清排序键与主键、块粒度与字节、GLOBAL广播与子查询次数、DDL部分失败和写入状态未知。附机制/时序图及隔离原生实验;不宣称Keeper多数派、Kafka跨系统原子提交、断电或自动在线重平衡。
分清精确真值、候选/算距、控制/数据面、读屏障与flush;实际小算法、层资源账、迁移回滚与架构时序图对应。原生覆盖过滤分页、三度量、分区和稀疏/密集RRF;不宣称OPQ学习、量化产品索引、BM25分析器、SSD性能、多节点共识或断电验收。
这些电子书以网页章节形式在线阅读。每个系列围绕一个完整主题编排,技术书稿与创作手记按领域分别收录。
按书架顺序查看各系列的发布状态,展开分卷详情可查看每部书的篇数与目录。
目录篇仍为草稿,发布后开放阅读入口。
卷一《客户端与移动运行时》、卷二《网络、资源与热更新》、卷三《商业化与发行工程》各 45 篇已发布;平台化与长线治理一卷待写。
卷一《平台机制与商店》45 篇、卷二《Steamworks 开发接入》45 篇、卷三《发行、定价与商业化》45 篇全部完成(三卷共 135 篇),待发布。
插入从新节点所属层向层零连接,几何剪枝保留方向多样性;底层与高层容量分开,懒删除排除结果但可保留导航。
HNSW用指数层分配和逐层导航;层零前沿C与有界结果W分开,ef不是访问或算距硬上限,结果不足K返回实际条数。
图搜索须区分前移、展开、边检查和首次算距;链上停点2是精确并列最近,另用局部陷阱解释贪婪搜索漏召回。
候选数不能推导固定召回;用相同C=4构造全命中和全漏,对单查询K=3的离散召回与多查询平均分别计算。
非零向量下cos=0与dot=0等价;平方L2、内积和余弦的排序方向、归一化及零向量定义域分别处理。
精确kNN是结果契约,不等同全量扫描;对照8次Flat算距与一维有序索引的2次精确算距,返回数、评估数和召回分别记录。
从列存与真实编码进入 parts、同步/异步确认、向量化、分片与 JOIN、预聚合、索引、复制和迁移。区分模型算术、固定版本原生结果与未测工程能力。
一个可教学骨架至少包含真实列编码/解码、不可变 part、分区内合并、谓词与聚合、状态合并及正确发布边界。先让同一输入在标量和分块路径上满足明确结果合同,再讨论分发与优化,不从一串恒等函数推断已实现引擎。
第一阶段实现一个小而可执行的查询闭环:解析受限模式,定位属性索引,按类型展开,保留绑定行,再显式投影/去重。第二阶段用私有写集和排他资源锁保护更新,维护索引与邻接的一致发布;每一步都有能失败的测试。
从属性图与访问路径进入 BSP、切分、算法、存储、查询、事务和因果读;最后讨论图生态、社区、知识图谱、向量检索与自研边界。固定记录格式与算法参数,不把教学计数外推为产品性能。
计算、存储、事件流、检索、图与 OLAP 各回答不同问题:文件/快照标识输入,执行引擎产生计算结果,共识保护元数据,复制决定确认,refresh 与插入发布定义读取可见性。不能用一条箭头把这些合同压成全局强一致。
文件切分与任务重放、批流状态、调度、单机算子、跨节点 SQL、共识存储、事件流和检索为图系统提供不同组件。跨卷关联应追踪相同事件与版本,不能仅把“都有状态”当作它们可互换的证据。
Kafka、流处理、ClickHouse 与 BI 形成端到端数据链路,每层都有自己的提交/可见点。ODS/DWD/ADS 是建模层次,不保证每个项目都必须各有一张表;去重、迟到修正和数据权限应与业务合同一起设计。
图表示决定邻接存储,计算模型决定状态可见性,分区决定所有权与通信,事务与复制决定哪些更新可确认。它们彼此约束,但不是一条 graph→bsp→store 的运行时单向流水线;批式图计算与在线图库应画成不同路径。
TPC-H 是包含 8 张表、22 个查询及相应规则的决策支持基准。Q1 含 l_shipdate 日期谓词,不能称无谓词纯聚合;Q3 的原始 shipdate 条件方向也必须与规范一致,不能为了配排序键而悄悄改查询语义。
原生图、KV 组合图、专用分布式图、多模型数据库各有存储与执行取舍。深多跳是否更快取决于入口选择性、度数、缓存、网络、结果大小和事务负载,不能用“超过一跳就选图”的规则直接决策。
向量检索按相似度召回候选,图遍历按明确关系扩展证据。混合系统可先向量后图,也可先结构过滤再向量;不同 GraphRAG 方法还有社区摘要等路径,不应把一个 pipeline 当作唯一标准。
system.query_log 的时长字段是 query_duration_ms,不是 system.processes 中常见的 elapsed。一次查询可能有 QueryStart/QueryFinish 或异常事件,日志写入也可能延迟;统计前应明确事件类型并在实验中 FLUSH LOGS。
RDF 以主体、谓词、客体三元组表达事实,客体可为资源或字面值,命名图又引入上下文。知识图谱不必采用 RDF,属性图也能构建知识应用;模型映射需要定义标识、类型、属性和关系身份。
EXPLAIN 展示计划,PIPELINE 展示 processor 及流连接;树上的打印方向并不普遍就是从上到下执行顺序。通常底部读取的结果向上游消费算子传递,Expression 也不能自动等同过滤,具体需看节点和表达式。