Docker 存储驱动与 OverlayFS 深度解析：Copy-on-Write 与镜像分层原理

Dockerfile 的每个指令 ≈ 镜像的一个层（layer）：
  FROM base          → 基础层
  RUN apt install    → 新层（包含变更的文件）
  COPY app.py        → 新层
  ...                  （最终镜像 = 若干只读层叠加）

容器运行 = 镜像只读层 + 一个可写层（容器层）
  docker commit 容器 → 把可写层固化为一个新镜像层

省空间的根源：多个容器共享底层只读层
  同一个镜像跑 100 个容器 → 只读层只存一份
  只有各自可写层的差异占各自空间

分层还带来：
  - 镜像传输：已拉的层不重复下载
  - 构建缓存：指令层不变时复用
  - 回滚：层是"差异"而非"全量"

读文件：
  从可写层开始，逐层向下找
  → 最上层有就用最上层的；否则继续往下直到找到

写文件（首次写某个底层文件）：
  1. 把底层目标文件"复制到可写层"（copy-up）
  2. 在可写层修改
  3. 底层文件不变，新内容在可写层
  → 这就是 Copy-on-Write：写的时候才复制

好处：
  - 未写的文件不占额外空间（共享底层）
  - 镜像层永远不可变、可复用

镜像有一个 /etc/config（底层只读层）
  两个容器同时修改它：
  容器 A：copy /etc/config 到 A 的可写层 → 改
  容器 B：copy /etc/config 到 B 的可写层 → 改
  → 底层镜像的 /etc/config 始终不变
  → 两个容器各持有自己的副本，互不干扰

代价：首次写大文件会复制（写放大）
  高 IO 热路径的容器，可写层写放大是性能要点

OverlayFS 把两个目录"叠加"成一个视图：
  lowerdir（底层，只读）= 镜像层
  upperdir（上层，可写）= 容器可写层
  merged（合并视图）= 容器看到的完整文件系统

overlay2 驱动 = Docker 用 OverlayFS 实现镜像分层存储
  每个镜像层是一个 lowerdir 条目，最上层可写

文件系统要求：
  - xfs（ftype=1）或 ext4
  - Linux 内核支持 overlayfs

# 查看当前存储驱动
docker info | grep -i storage

# 典型输出：Storage Driver: overlay2
# 看到 diff / merged / upper 目录等（在 /var/lib/docker/overlay2）

overlay2 的优势：
  - 原生内核支持、性能好
  - 页缓存共享（同一镜像层可共享内存页）
  - 比旧 vfs（每层完整复制）省空间几个数量级

Docker 默认：
  现代 Linux（内核 4.x+ 且支持 overlay）→ 自动用 overlay2
  不支持 overlay 的环境 → 退化为 vfs（极慢、极占空间）

修改文件：copy-up 到可写层再改
删除文件：在可写层加"白名单/删除标记"（overlay 的 whiteout）
  底层文件其实还在，只是从合并视图"隐藏"
新增文件：直接写在可写层

影响：
  - "删除"不减底层空间（白名单只是遮住）
  - 这也是为什么"删除大文件后镜像不减小的原因之一"

镜像越来越大，常见原因：
  1. 每层都保存"差异"，层数越多冗余越多
     → 合并层 / 重写 Dockerfile（把变化少的放前面）
  2. RUN 里下载又删除，删除只在当前层生效
     → 下载与清理放同一 RUN（同一层）
  3. 容器日志/临时文件写入可写层，容器删除后消失
     → 日志走 json-file/logrotate 或用 tmpfs 挂载

瘦身抓手：
  - 多阶段构建（只留运行层）
  - 同一 RUN 里装依赖 + 清理缓存
  - 谨慎使用大体积基镜像

常用驱动对比：
  overlay2   默认，性能好，推荐（现代 Linux）
  vfs        每层全量复制，慢、费空间（仅特殊环境）
  aufs       overlay 的前辈，老 Debian/Ubuntu 历史选择
  btrfs/zfs  结合文件系统自身快照，适合超大镜像场景
  fuse-overlayfs  无特权环境（Rootless）常用

选型依据：
  - 生产 Linux 服务器 → overlay2 就够了
  - Rootless 模式 → fuse-overlayfs
  - 超大规模镜像仓库/集群 → 可评估 btrfs/zfs

# 切换存储驱动需在 daemon.json 配置
# {"storage-driver": "overlay2"}
# 注意：切换会重建所有镜像层，慎在已有大量镜像的环境操作

□ 确认 daemon 使用 overlay2（docker info 检查）
□ 宿主用 xfs(ftype=1)/ext4 文件系统
□ Dockerfile 用多阶段构建，减少冗余层
□ 依赖安装 + 缓存清理放同一 RUN（同层）
□ 日志/临时文件走卷或 tmpfs，别堆可写层
□ 定期 docker system prune 清理悬空镜像与层
□ 监控 /var/lib/docker 磁盘占用
□ 有状态数据一律用 Volume，不依赖可写层

镜像只读分层 + 可写层 CoW，
理解了它，就理解了 Docker 的空间、速度与清理的一切。