《游戏服务端编程实践》3.2.2 JSON、MsgPack、Cap’n Proto

一、序列化的多样化背景

游戏服务器不仅在实时战斗中传输高频数据，还涉及：

• 登录认证（跨语言接口）
• Web 管理 / GM 工具（HTTP 接口）
• AI 模块（Python / Lua / Go 混合环境）
• 数据分析（日志与可读性需求）

不同模块对序列化的要求差异极大：

因此，我们无法用一种格式解决所有问题，
必须根据通信层 / 数据层 / 分析层灵活选型。

二、JSON：可读性最强的通用格式

2.1 简介

JSON（JavaScript Object Notation） 是一种文本型轻量数据格式，
以键值对（key–value）形式表达结构化数据。

{
  "id": 1001,
  "name": "Alice",
  "level": 20,
  "inventory": [
    {"id": 1, "count": 10},
    {"id": 2, "count": 5}
  ]
}

2.2 优势

2.3 缺点

2.4 JSON 在游戏服务器中的常见用途

2.5 示例（Go）

type Player struct {
    ID   int64  `json:"id"`
    Name string `json:"name"`
}

func main() {
    p := Player{ID: 1001, Name: "Alice"}
    data, _ := json.Marshal(p)
    fmt.Println(string(data))
}

输出：

{"id":1001,"name":"Alice"}

三、MsgPack：二进制 JSON（MessagePack）

3.1 简介

MessagePack（简称 MsgPack） 是一种兼容 JSON 结构的二进制序列化格式。
它保持 JSON 的语义，同时大幅减少体积与解析时间。

由日本工程师 Sadayuki Furuhashi 开发，广泛用于 Redis、Fluentd、LuaJIT 等系统。

3.2 特点

3.3 示例

Java

MessageBufferPacker packer = MessagePack.newDefaultBufferPacker();
packer.packInt(1001);
packer.packString("Alice");
packer.close();

MessageUnpacker unpacker = MessagePack.newDefaultUnpacker(packer.toByteArray());
int id = unpacker.unpackInt();
String name = unpacker.unpackString();

Go

import "github.com/vmihailenco/msgpack/v5"

p := Player{ID:1001, Name:"Alice"}
data, _ := msgpack.Marshal(p)
var copy Player
msgpack.Unmarshal(data, &copy)

3.4 与 JSON 的对比

MsgPack = “高性能 JSON 替代品”，非常适合WebSocket 游戏和Lua 通信层。

3.5 MsgPack 性能测试

3.6 MsgPack 在游戏中的应用案例

3.7 Lua 中的 MsgPack 示例（Skynet 框架）

local msgpack = require "msgpack"
local t = { id = 1001, name = "Alice" }
local bin = msgpack.pack(t)
local copy = msgpack.unpack(bin)

四、Cap’n Proto：极速序列化协议

4.1 简介

Cap’n Proto 是由 Protobuf 作者 Kenton Varda 设计的新一代序列化系统。
它旨在消除反序列化的性能瓶颈，实现真正的 “zero parse, zero copy”。

设计目标：

• 零解析（Zero Parsing）；
• 零拷贝（Zero Copy）；
• 高速内存映射；
• RPC 内嵌支持。

4.2 原理：内存布局即序列化格式

Cap’n Proto 的一个革命性理念：

“序列化格式与内存布局完全一致。”

这意味着：

• 不需要解码；
• 可以直接在原始字节缓冲中访问数据；
• 可通过内存映射文件（mmap）直接读取对象。

graph LR
A[结构体内存布局] -->|直接写入| B[磁盘/网络字节流]
B -->|直接映射| C[结构体读取]

4.3 Schema 定义（.capnp）

struct Player {
  id @0 :Int64;
  name @1 :Text;
  level @2 :Int32;
}

编译器 capnp compile -ogo player.capnp 生成代码。

4.4 优势

4.5 缺点

4.6 Go 示例

player, seg := capnp.NewRootStruct(seg, capnp.Player_TypeID)
player.SetId(1001)
player.SetName("Alice")
player.SetLevel(20)
data, _ := seg.Marshal()

读取：

player, _ := capnp.ReadRootStruct(seg)
fmt.Println(player.Name())

无需反序列化步骤，直接访问结构体字段。

4.7 性能测试（Protobuf vs Cap’n Proto）

解析速度约提升 3 倍，代价是更复杂的工具链与较高的初期学习成本。

五、综合性能对比

六、游戏服务器中的分层选型策略

在大型游戏架构中，通常按照“功能层”选择序列化方案：

七、综合工程建议

八、设计启示与总结

一句话总结：

• JSON 是“人类友好”的；
• MsgPack 是“系统友好”的；
• Cap’n Proto 是“性能极限”的。

优秀的游戏架构师不会选一种格式，而是构建一个多层次序列化生态。