备份与 rsync 同步：增量、快照与恢复演练

#!/usr/bin/env bash
set -euo pipefail

# 备份前的体检：先确认源存在，避免备份出空目录
SRC=${SRC:-/var/lib/app}
[ -d "$SRC" ] || { echo "source missing: $SRC" >&2; exit 1; }

# 记录源的大小与文件数，作为事后比对的基线
du -sh "$SRC"; find "$SRC" -type f | wc -l

# 有斜杠：把 src 的内容复制到 dst  → 结果 /backup/dst/file1
rsync -a /data/src/ /backup/dst/

# 无斜杠：把 src 目录本身放进 dst  → 结果 /backup/dst/src/file1
rsync -a /data/src /backup/dst/

# 用 --dry-run 先确认行为，这是最省事的自查手段
rsync -av --dry-run /data/src/ /backup/dst/

# 最常用的备份组合
rsync -aHAX --numeric-ids --partial --info=progress2 /data/src/ /backup/dst/

# 跨主机时走 SSH，并指定密钥与端口
rsync -aHAX -e 'ssh -p 2222 -i ~/.ssh/backup_key' \
  --numeric-ids /data/src/ backup@host:/backup/dst/

# 慢链路加压缩（CPU 换带宽，本机同步不要加 -z），并限速
rsync -az --bwlimit=5000 /data/src/ remote:/backup/dst/

rsync -a --exclude='*.tmp' --exclude='.git/' --exclude='cache/' \
  --exclude-from=/etc/backup/exclude.txt /data/src/ /backup/dst/

# /etc/backup/exclude.txt
*.log
*.pid
node_modules/
.DS_Store
# 以 / 开头表示锚定到传输根，避免误伤同名子目录
/tmp/

# 反面教材：先排除 cache/，再想包含 cache/keep.txt 是无效的
rsync -a --exclude='cache/' --include='cache/keep.txt' src/ dst/
# 正确顺序：先包含，再排除
rsync -a --include='cache/keep.txt' --exclude='cache/' src/ dst/

# 目标端多出来的文件也删掉（做镜像同步）
rsync -a --delete /data/src/ /backup/dst/

# 连被排除的文件也从目标端删除（危险：可能删掉本地保留的东西）
rsync -a --delete --delete-excluded /data/src/ /backup/dst/

# 把删除延后到传输结束，减少目标端「短暂缺文件」的窗口
rsync -a --delete-delay /data/src/ /backup/dst/

# 保险丝：一次最多删这么多文件，超过就中止
rsync -a --delete --max-delete=100 /data/src/ /backup/dst/

# 先看会删什么，确认无误再去掉 --dry-run
rsync -av --delete --dry-run /data/src/ /backup/dst/ \
  | grep -E '^deleting'

#!/usr/bin/env bash
set -euo pipefail

BASE=/backup/snapshots
SRC=/data/src
TODAY=$(date +%Y-%m-%d)
LATEST=$(readlink -f "$BASE/latest" 2>/dev/null || true)
mkdir -p "$BASE/$TODAY"

# 与上一份快照比对：没变的文件直接建硬链接，不占额外空间
if [ -n "$LATEST" ] && [ -d "$LATEST" ]; then
  rsync -aHAX --delete --link-dest="$LATEST" "$SRC/" "$BASE/$TODAY/"
else
  rsync -aHAX --delete "$SRC/" "$BASE/$TODAY/"     # 首次全量
fi

ln -sfn "$BASE/$TODAY" "$BASE/latest"              # 指向最新快照
du -sh --exclude=latest "$BASE"/* | sort -h        # 查看每份快照的独有数据量

# 验证硬链接是否生效：同一文件的链接数应该大于 1
stat -c '%h %n' "$BASE/latest/some/big/file.bin"

#!/usr/bin/env bash
set -euo pipefail

BASE=/backup/snapshots
KEEP_DAILY=7

# 保留最近 7 份每日快照，其余删除
mapfile -t snaps < <(find "$BASE" -maxdepth 1 -type d -name '20*' | sort)
count=${#snaps[@]}
if [ "$count" -gt "$KEEP_DAILY" ]; then
  for old in "${snaps[@]:0:$((count - KEEP_DAILY))}"; do
    echo "pruning $old"; rm -rf -- "$old"
  done
fi

# 安全写法：先完成同步与校验，确认成功后再轮转
rsync -aHAX --delete --link-dest="$LATEST" "$SRC/" "$BASE/$TODAY/" \
  && ln -sfn "$BASE/$TODAY" "$BASE/latest" \
  && prune_old_snapshots

# 1. 空跑 + 逐项列出差异（--dry-run 不实际传输）
rsync -aHAX --delete --dry-run --itemize-changes /data/src/ /backup/dst/
# ">f+++++++++" 表示新增，">f.st......" 表示内容与时间都变了

# 2. 按内容校验（更严格，但代价高）
rsync -aHAX -c --dry-run --itemize-changes /data/src/ /backup/dst/

# 3. 同步后用统计摘要确认「传了多少、删了多少」
rsync -aHAX --delete --stats /data/src/ /backup/dst/ | tail -20

#!/usr/bin/env bash
set -euo pipefail
SNAP=/backup/snapshots/latest

# 生成清单：路径 + sha256
find "$SNAP" -type f -print0 | sort -z | xargs -0 sha256sum > "$SNAP.manifest.sha256"

# 事后验证（在快照目录下执行，路径才对得上）
(cd "$SNAP" && sha256sum -c "$SNAP.manifest.sha256" --quiet) && echo "integrity OK"

# 更轻量的存在性检查：比对文件数
src_count=$(find /data/src -type f | wc -l)
dst_count=$(find "$SNAP" -type f | wc -l)
[ "$src_count" -eq "$dst_count" ] || echo "WARN: file count mismatch"

# 通过 SSH 隧道同步，限速 5MB/s，避免影响业务带宽
rsync -aHAX --numeric-ids --partial --append-verify --bwlimit=5000 \
  --exclude-from=/etc/backup/exclude.txt \
  -e 'ssh -o Compression=no -i ~/.ssh/backup_key' \
  /backup/snapshots/latest/ backup@offsite:/backup/app/

# 用 --partial-dir 让中断的传输不污染目标目录
rsync -a --partial-dir=.rsync-partial /data/src/ remote:/backup/dst/

# 无人值守场景必须限制 SSH 命令，避免密钥泄露后被滥用
# ~/.ssh/authorized_keys 中这样写：
# command="rsync --server --sender -logDtpre.iLsfxC . /backup/",no-pty,no-agent-forwarding ssh-ed25519 AAAA...

# 端到端加密：tar 打包后用 age 加密再上传
tar -C /backup/snapshots -cf - latest \
  | age -r "$(cat /etc/backup/age.pub)" \
  > /backup/encrypted/app-$(date +%Y%m%d).tar.age

# 解密验证（演练时用）
age -d -i /etc/backup/age.key app-20261001.tar.age | tar -tf - | head

#!/usr/bin/env bash
# 分级保留：日备保留 7 份、周备 4 份、月备 12 份
set -euo pipefail
BASE=/backup/archive

# 每日保留 7 天
find "$BASE/daily"   -maxdepth 1 -type d -mtime +7   -exec rm -rf -- {} +
# 每周保留 4 周
find "$BASE/weekly"  -maxdepth 1 -type d -mtime +28  -exec rm -rf -- {} +
# 每月保留 12 个月
find "$BASE/monthly" -maxdepth 1 -type d -mtime +365 -exec rm -rf -- {} +

#!/usr/bin/env bash
set -euo pipefail

SNAP=${1:-/backup/snapshots/latest}
DRILL=/tmp/restore-drill-$$
trap 'rm -rf "$DRILL"' EXIT
mkdir -p "$DRILL"
start=$(date +%s)

# 1. 还原（硬链接会被解开成独立文件）
rsync -aHAX "$SNAP/" "$DRILL/"

# 2. 校验文件数
src_files=$(find "$SNAP" -type f | wc -l)
dst_files=$(find "$DRILL" -type f | wc -l)
[ "$src_files" -eq "$dst_files" ] || { echo "FAIL: count mismatch"; exit 1; }

# 3. 抽样验证关键文件的校验和
for f in etc/app.conf var/lib/app/db.sqlite; do
  [ -f "$SNAP/$f" ] || continue
  a=$(sha256sum "$SNAP/$f" | cut -d' ' -f1)
  b=$(sha256sum "$DRILL/$f" | cut -d' ' -f1)
  [ "$a" = "$b" ] || { echo "FAIL: $f differs"; exit 1; }
done

echo "drill OK: $dst_files files, $(( $(date +%s) - start ))s"   # 实测 RTO

# 用 systemd timer 每月跑一次演练，结果写进日志：
# journalctl -u backup-drill.service --since "30 days ago"

# 陷阱一：忘了权限与属主（恢复后服务起不来）——-a 已含权限与属主
rsync -aHAX --numeric-ids /data/src/ /backup/dst/

# 陷阱二：恢复到已有数据的目录，叠加出「混合状态」
# 正确做法：恢复到全新目录，校验通过后再切换
mv /var/lib/app /var/lib/app.old && mv "$DRILL/app" /var/lib/app

# 陷阱三：硬链接快照里的文件被误改，导致所有快照一起坏
chmod -R a-w /backup/snapshots/2026-10-01   # 快照目录设为只读

# 陷阱四：备份脚本自身失败却返回 0
# 用「同步 + 校验 + 记录标记」三段式，任一步失败都让流水线失败
rsync -aHAX --delete "$SRC/" "$DST/" \
  && rsync -aHAX -c --dry-run --itemize-changes "$SRC/" "$DST/" \
  && touch "$DST/.backup-ok-$(date +%Y%m%d)"