elasticsearch

「部署运维与备份恢复」

系统讲解 Elasticsearch 部署运维：二进制、Docker 与 Kubernetes 部署对比、生产配置基线、滚动升级与回滚、快照备份与仓库配置，以及 ILM 冷热分层与监控告警。

Leeting Yan 5 分钟阅读 2346 字

ES 集群部署上线只是起点，真正的挑战在版本升级、数据备份、容量治理与故障演练。本文覆盖部署形态选型、生产配置基线、滚动升级、快照恢复、ILM 冷热层与监控告警，把运维经验沉淀为可执行的检查清单。

1. 部署方式与版本选择

1.1 三种部署形态对比

方式优点缺点适用
二进制可控、简单手工运维小规模、学习
Docker环境一致数据卷管理单机/测试
Kubernetes弹性、自动恢复学习成本高大规模生产

1.2 二进制部署

# 下载并解压
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.10.2-linux-x86_64.tar.gz
tar -zxf elasticsearch-8.10.2-linux-x86_64.tar.gz
cd elasticsearch-8.10.2

# 非 root 用户启动
useradd es
chown -R es:es /opt/elasticsearch
su es -c './bin/elasticsearch -d'

ES 不允许 root 直接运行，必须专用用户。生产环境配合 systemd 托管进程，设置内存锁定与文件句柄上限。

1.3 版本选择与兼容性

版本选择遵循三条原则：大版本内升序升级、保持小版本打补丁、插件与主版本严格匹配。

版本跨度升级方式
6.x → 7.x需先升 6.8，再升 7.x，注意字段类型破坏性变更
7.x → 8.x需 7.17 中转，移除 types 后兼容层消失
8.x 内部小版本直接滚动升级

2. 生产配置基线

2.1 JVM 与系统参数

# jvm.options
-Xms16g
-Xmx16g
-XX:+UseG1GC

# sysctl 配置
sudo sysctl -w vm.max_map_count=262144
sudo sysctl -w vm.swappiness=1
sudo sysctl -w net.core.somaxconn=65535

JVM 与 OS 缓存的详细配比见《性能调优与缓存策略》，生产基线建议 heap 为物理内存一半，保留另一半给 Page Cache。

2.2 安全与认证

# elasticsearch.yml
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.http.ssl.enabled: true

ES 8 默认开启安全，为内置用户设置强密码，启用 TLS 传输加密。生产环境禁止 9200 端口裸奔公网，用防火墙或反向代理隔离。

2.3 数据目录与路径规划

path.data: /data/elasticsearch
path.logs: /var/log/elasticsearch

数据目录放独立磁盘，日志目录与数据分离，避免磁盘 IO 争抢。上线前确认 path.data 挂载点磁盘余量充足，并为快照预留独立仓库目录。

3. 滚动升级

3.1 升级前准备

滚动升级要求旧集群为 green 状态，先打全量快照，记录当前版本与插件清单。

# 确认集群健康
curl -s 'http://localhost:9200/_cluster/health?pretty' | jq '.status'

# 关闭分片分配，避免升级期间大量迁移
curl -X PUT 'http://localhost:9200/_cluster/settings?pretty' \
  -H 'Content-Type: application/json' \
  -d '{"persistent": {"cluster.routing.allocation.enable": "primaries"}}'

3.2 逐节点升级

1. 关闭分片分配（仅主分片）
2. 停止该节点（bin/elasticsearch-stop）
3. 备份 config 与数据
4. 替换二进制或镜像
5. 启动节点，确认加入集群并恢复分片
6. 重新开启分片分配
7. 逐个处理下一个节点

curl -X PUT 'http://localhost:9200/_cluster/settings?pretty' \
  -H 'Content-Type: application/json' \
  -d '{"persistent": {"cluster.routing.allocation.enable": null}}'

3.3 回滚策略

升级失败时回滚到旧版本，但已升级节点写入的数据可能不兼容，需从快照恢复。因此快照是升级的保底，务必在升级前与升级每个阶段后都执行。

# 若跨大版本失败，从快照恢复到旧版本集群
curl -X POST 'http://localhost:9200/_snapshot/backup/snap_20260930/_restore?pretty' \
  -H 'Content-Type: application/json' \
  -d '{"indices": "*", "wait_for_completion": true}'

4. 快照备份

4.1 注册仓库

curl -X PUT 'http://localhost:9200/_snapshot/backup?pretty' \
  -H 'Content-Type: application/json' \
  -d '{
    "type": "fs",
    "settings": { "location": "/data/backup/es", "max_snapshot_bytes_per_sec": "200mb" }
  }'

仓库类型支持本地文件系统、S3、HDFS 与 GCS。生产环境推荐 S3 或独立存储，避免与数据目录同机。

4.2 创建与查看快照

# 创建快照（全部索引）
curl -X PUT 'http://localhost:9200/_snapshot/backup/snap_20260930?pretty' \
  -H 'Content-Type: application/json' \
  -d '{"indices": "products*", "ignore_unavailable": true}'

# 查看快照状态
curl -s 'http://localhost:9200/_snapshot/backup/snap_20260930?pretty'

快照是增量的，首次全量后只上传变化块，因此日常备份成本不高。快照内的索引在恢复前保持只读一致性。

4.3 恢复与部分恢复

# 恢复全部
curl -X POST 'http://localhost:9200/_snapshot/backup/snap_20260930/_restore?pretty' \
  -H 'Content-Type: application/json' \
  -d '{"wait_for_completion": true}'

# 恢复单个索引并改名
curl -X POST 'http://localhost:9200/_snapshot/backup/snap_20260930/_restore?pretty' \
  -H 'Content-Type: application/json' \
  -d '{
    "indices": "products",
    "rename_pattern": "products",
    "rename_replacement": "products_restored"
  }'

4.4 备份策略建议

数据等级快照频率保留周期
日志类每日7 天
业务索引每小时30 天
核心数据实时双写 + 快照90 天

定期做恢复演练验证快照可用性，演练成本远低于故障时的数据丢失代价。

5. 冷热层与 ILM

5.1 节点分层的属性配置

# 热节点
node.attr.box_type: hot
# 温节点
node.attr.box_type: warm

{
  "persistent": {
    "cluster.routing.allocation.awareness.attributes": "box_type",
    "cluster.routing.allocation.awareness.force.box_type.values": ["hot", "warm"]
  }
}

热节点用 SSD 承载最新写入与高频查询，温节点用大容量磁盘承载历史数据，分片分配感知确保副本落在不同层。

5.2 ILM 生命周期策略

{
  "policy": {
    "phases": {
      "hot":  { "actions": { "rollover": { "max_size": "50gb", "max_age": "30d" } } },
      "warm": { "actions": { "allocate": { "require": { "box_type": "warm" } } } },
      "cold": { "actions": { "freeze": {} } },
      "delete": { "actions": { "delete": { "delete_search": true } } }
    }
  }
}

ILM 按阶段自动迁移索引：hot 滚动切分，warm 强制合并降副本，cold 冻结减少堆占用，delete 按保留期清理。索引生命周期管理让磁盘水位长期可控，避免《集群分片与高可用架构》中的 flood stage 事件。

5.3 应用到索引

curl -X PUT 'http://localhost:9200/products-000001/_settings?pretty' \
  -H 'Content-Type: application/json' \
  -d '{
    "index.lifecycle.name": "products_policy",
    "index.lifecycle.rollover_alias": "products"
  }'

写别名指向最新滚动索引，查询别名可覆盖全部。ILM 执行状态通过 explain 查看。

6. 监控与告警

6.1 核心监控指标

指标告警阈值含义
集群状态!= green分片异常
Heap 使用率> 85%内存压力
GC 耗时old GC > 1s内存调优
磁盘使用率> 80%扩容预警
拒绝请求数> 0线程池打满
分片未分配> 0分配故障

6.2 指标采集方式

# 采集集群级指标
curl -s 'http://localhost:9200/_cluster/stats?pretty'
curl -s 'http://localhost:9200/_nodes/stats?pretty'

生产环境接入 Prometheus + Elastic Exporter 或官方 Metricbeat，把指标与告警统一到现有监控平台。

6.3 日志与审计

tail -f /var/log/elasticsearch/elasticsearch.log
tail -f /var/log/elasticsearch/es-deprecation.log

关注 deprecation 日志里的弃用警告，提前处理跨版本升级的破坏性变更。慢日志阈值见《性能调优与缓存策略》，是定位线上查询异常的入口。

7. 故障恢复与演练

7.1 常见故障场景

故障表现处置
数据节点宕机副本晋升，集群 yellow→green等待恢复或手动 reroute
磁盘打满flood stage 只读清理 + 解除只读
master 节点故障新 master 选举保证 quorum 存活
索引损坏red 分片从副本或快照恢复

7.2 节点宕机恢复

# 强制重新分配未分配分片（谨慎使用）
curl -X POST 'http://localhost:9200/_cluster/reroute?pretty' \
  -H 'Content-Type: application/json' \
  -d '{"commands": [{"allocate_stale_primary": {"index": "products", "shard": 0, "node": "es-data-02"}}]}'

7.3 定期演练清单

季度演练：
1. 随机停一个数据节点，验证副本晋升
2. 随机停一个 master 节点，验证选举
3. 从快照恢复到临时集群，验证数据完整
4. 模拟磁盘打满，演练清理与解除只读
5. 记录 RPO 与 RTO，复盘改进

演练应形成文档化的 runbook，包含每一步命令、期望输出与回退方案。RPO 取决于快照频率，RTO 取决于恢复数据量与网络带宽。

8. 总结

环节要点
部署形态二进制可控、K8s 弹性，按规模选型
生产基线heap 一半内存、禁 swap、安全与 TLS 开启
滚动升级green 起步、关分配、逐节点、快照保底
快照备份fs/S3 仓库，增量上传，定期恢复演练
ILM 冷热层hot/warm/cold 分层，rollover 控容量
监控告警集群状态、Heap、GC、磁盘、拒绝数
故障恢复副本晋升、reroute、快照兜底
RPO/RTO快照频率定 RPO，演练测 RTO

运维的本质是让故障发生时损失可控：快照兜底数据、副本兜底节点、quorum 兜底脑裂、演练兜底流程。把升级、备份、分层、监控固化为基础能力后，ES 集群才能长期稳定。集群机制见《集群分片与高可用架构》，容量与调优见《性能调优与缓存策略》。

延伸阅读

继续阅读

探索更多技术文章

浏览归档，发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「elasticsearch」更多文章

  1. 「搜索服务架构：从索引到容错」
  2. 「安全加固与访问控制：从角色到审计」
  3. 「地理空间搜索：从坐标到地图」