Prometheus 长期存储与集群化：Thanos 与 Mimir 架构对比与实战

瓶颈一：存储
  · 本地磁盘（TSDB WAL+Block），默认保留 15 天
  · 扩容 = 换盘，无法横向扩展

瓶颈二：高可用
  · 单实例故障 → 监控中断（盲区）
  · Prometheus 无内置主从复制

瓶颈三：全局视野
  · 每个集群一个 Prometheus，数据彼此隔离
  · 想跨集群算 SLO、跨服务查延迟，做不到

→ 演进：Prometheus 实例（数据源）+ 汇聚层（查询/存储）

路线 A：Thanos
  · 保留 Prometheus 本体，在其上"叠加"去重、全局查询、长期存储
  · 组件多（Sidecar/Query/Store/Compactor/Receiver），自由度大

路线 B：Mimir（Grafana Labs）
  · 用 Mimir 取代 Prometheus 存储，多租户 SaaS 化体验
  · Prometheus 只做采集（remote-write 推给 Mimir），存储由 Mimir 管

Prometheus ──► Sidecar ──► 对象存储(S3/MinIO)
                    │            ▲
                    │            │
              ┌─────┴─────┐    Compactor（压缩/降采样）
              │           │
        Query(去重/查询)   Store(Gateway，读取历史数据)
              │           │
              └─────┬─────┘
                    │
              全局 PromQL 查询

组件职责：
  Sidecar   ：上传本地 Block 到对象存储，暴露本地 TSDB 供 Query
  Query     ：无状态查询网关，合并 Prometheus + Store，跨源去重
  Store     ：读对象存储历史 Block 的网关
  Compactor ：合并小 Block、降采样（5m/1h）、保留策略
  Receiver  ：接收 remote-write，解耦采集与存储（可选）

# thanos-sidecar.yaml
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: thanos-sidecar
  namespace: monitoring
spec:
  serviceName: prometheus-sidecar
  selector:
    matchLabels:
      app: thanos-sidecar
  template:
    metadata:
      labels:
        app: thanos-sidecar
    spec:
      containers:
        - name: thanos
          image: quay.io/thanos/thanos:0.34.1
          args:
            - sidecar
            - --tsdb.path=/prometheus
            - --objstore.config-file=/etc/thanos/objstore.yaml
            - --http-address=0.0.0.0:10902
            - --grpc-address=0.0.0.0:10901
          volumeMounts:
            - name: data
              mountPath: /prometheus
            - name: objstore
              mountPath: /etc/thanos

# objstore.yaml — S3/MinIO
type: S3
config:
  bucket: thanos-metrics
  endpoint: minio.monitoring.svc:9000
  access_key: ${MINIO_ACCESS}
  secret_key: ${MINIO_SECRET}
  insecure: true
  # 可选：自动桶生命周期策略，按层级保留

Prometheus(采集) ──remote-write──►  Distributor（分发/校验）
                                        │
                                        ▼
                                   Ingester（内存 + 常驻块）
                                        │ 上传
                                        ▼
                                   Compactor（压缩/去重/多租户）
                                        │
                                        ▼
                                   对象存储(S3/GCS)

查询路径：
  Query-frontend(分片/缓存) → Querier → Store-Gateway(读历史)
                                        │
                                        ▼
                                      对象存储

Mimir 内置多租户：每个租户隔离数据与配额

· 多租户（多团队/多环境隔离）
· 原生 remote-write 协议（无需 Sidecar 上传）
· 高可用：副本 + 分布式 Querier，无单点
· 查询性能：分片并行 + 结果缓存 + 索引加速
· 水平扩展：每个组件可独立扩缩容
· 内置告警规则评估（Alertmanager 集成）

# prometheus.yml — 采集侧只需加 remote_write
remote_write:
  - url: http://mimir-distributor.monitoring:9009/api/v1/push
    queue_config:
      max_samples_per_send: 2000
      capacity: 25000
      min_shards: 1
      max_shards: 30
    metadata_config:
      send_interval: 5m
  # 本地 TSDB 可保留亦可关闭（纯转发模式）

# thanos-query.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: thanos-query
  namespace: monitoring
spec:
  template:
    spec:
      containers:
        - name: thanos
          image: quay.io/thanos/thanos:0.34.1
          args:
            - query
            - --store=thanos-store.monitoring.svc:10901
            - --store=prometheus-0.monitoring.svc:10901
            - --store=prometheus-1.monitoring.svc:10901
            - --query.replica-label=prometheus_replica

# 跨集群查询示例：全局 HTTP 错误率
sum by (service) (
  rate(http_requests_total{code=~"5.."}[5m])
  / rate(http_requests_total[5m])
)

# 去重原理：同一时序多副本(label 不同)，按 replica-label 取唯一

Thanos Query 去重：
  · 通过 --query.replica-label 指定区分副本的 label
  · 查询时对同一 label-set 的多副本，选 min/max 策略取一份
  · 默认 dedup 开启，保证 HA 双副本不重复计数

Mimir 去重：
  · Ingester 写入时基于 (tenant, series) 去重
  · 高可用：双写 + dedupe 策略（推同名系列取一个）

跨源查询陷阱：
  · 速率类指标（rate/irate）必须在"同一源"内计算后聚合
  · 全局查询先算 rate 再 sum（先 rate 后聚合），
    不要 sum 后再 rate（会因时间对齐失真）
  · 使用 label 区分来源（cluster="prod-a"）便于分区聚合

对象存储里时间越长 Block 越多越小：
   · 2h 一个 Block，一年 ≈ 4000+ Block
   · 查询要扫描大量小文件，性能差
   · 对象存储按请求计费，小文件开销高

Compactor 解决：
   · 合并小 Block 成大 Block（长期数据）
   · 降采样（Downsample）：数据越老分辨率越低
   · 删除超过保留期的数据

# thanos-compactor.yaml — 关键参数
args:
  - compact
  - --objstore.config-file=/etc/thanos/objstore.yaml
  - --retention.resolution-raw=90d     # 原始分辨率保留 90 天
  - --retention.resolution-5m=180d     # 5m 降采样保留 180 天
  - --retention.resolution-1h=1y       # 1h 降采样保留 1 年
  - --retention.downsample-resolution=5m,1h

降采样分辨率建议：
  0d-90d    原始分辨率（1s-30s）
  90d-180d  5m 分辨率
  180d-1y   1h 分辨率
→ 存储量可缩减 70-90%，长期趋势分析几乎无感

# Mimir 保留（按租户）
limits:
  compactor:
    retention_period: 30d      # 全局 30 天
    block_ranges: [2h, 6h, 24h, 5d, 30d]

# 租户通过 X-Scope-OrgID 头标识
# prometheus.yml remote_write 增加 header：
remote_write:
  - url: http://mimir-distributor:9009/api/v1/push
    headers:
      X-Scope-OrgID: team-payment

# 租户配额（limits per tenant）
tenant_limits:
  team-payment:
    max_global_series: 2000000      # 最多 200 万序列
    max_series_per_metric: 10000
    max_queries_per_second: 100
    max_query_length: 721h
    compactor_retention_period: 90d

Thanos 无原生租户，多团队隔离常用：
  · 每个团队独立 Prometheus + 独立 Bucket
  · Query 侧按 store 集合分组，配置多套 Query 实例
  · 或用 label 隔离 + RBAC 控制查询入口

· 每个 Prometheus 跑双副本（双写/拉取同源）
  用 --query.replica-label 去重
· Query 无状态，可多副本 + 负载均衡
· Store/Compactor 各自多副本（Compactor 需单实例或锁）
· 对象存储本身高可用（S3/MinIO 多节点）

· Ingester 有状态：副本 + 心跳恢复（Mimir 可无状态化启动）
· Distributor/Querier 无状态水平扩展
· 对象存储 + 元数据（可配 ETCD/Cassandra 做索引）
· 内置多副本 + 故障自愈，日常几乎无运维

方案一（Thanos，保留现有 Prometheus）：
  各集群 Prometheus + Sidecar
    → 统一 MinIO/S3 Bucket
    → Thanos Query（全局查询）
    → Thanos Compactor（降采样）
    → Grafana 接 Thanos Query

方案二（Mimir，全新统一平台）：
  各集群 Prometheus 纯采集
    → remote-write → Mimir（Distributor→Ingester→Compactor）
    → Grafana 接 Mimir（多租户）

· 降采样：90d 后 5m/1h，存储降 70-90%
· 采样 + 序列控制：砍高基数 label，控制 series 数
· 对象存储生命周期：冷数据转低频存储（S3 IA/Glacier）
· 压缩：Compactor 合并减少请求数
· 查询缓存：Query-frontend/Thanos 缓存减少后端压力
· 合理保留期：按合规需要而非"永远"保留

# 关注的关键指标
thanos_querier_store_api_request_duration_seconds
thanos_compact_blocks_cleaned_total
mimir_ingester_active_series
mimir_compactor_blocks_cleaned_total
# 告警：对象存储写入失败、查询延迟飙升、保留期异常