Loki 架构与性能优化：摄入调优、标签基数管理、查询加速与成本控制

写入路径：
  Promtail/OTel ──► Distributor ──► Ingester（内存 chunk + 周期 flush）
                                          │
                                          ▼
                                     对象存储(S3/MinIO)
                                          ▲
                                          │
读路径：
  Grafana ──► Querier ◄──► Index（TSDB 索引）
                     │
                     ▼
                Store-Gateway(读对象存储 chunk)

Compactor：合并小 chunk、去重、保留策略

· 不全文索引：日志内容只压缩不索引（比 ES 省 10-50x 存储）
· 标签即索引：唯一索引是标签（stream selector）
· 查询=扫描：LogQL 查询在满足条件的流上扫描日志
  → 优化核心 = 缩小扫描范围（好标签）+ 少扫内容（精查询）

# promtail.yaml — 采集配置
scrape_configs:
  - job_name: kubernetes-pods
    kubernetes_sd_configs:
      - role: pod
    relabel_configs:
      - source_labels: [__meta_kubernetes_pod_label_app]
        target_label: app
      - source_labels: [__meta_kubernetes_namespace]
        target_label: namespace
      - source_labels: [__meta_kubernetes_pod_container_name]
        target_label: container
    pipeline_stages:
      - regex:
          expression: '^(?P<time>\S+)\s+(?P<level>\w+)\s+(?P<message>.*)'
      - labels:
          level:             # 把 level 提为标签（合理低基数）
      - timestamp:
          source: time
          format: RFC3339
      - output:
          source: message    # 只保留 message 进入内容

# Loki 侧批处理
ingester:
  # chunk 目标大小：过大延迟可见性，过小存储开销高
  target_chunk_size: 1.5MiB
  chunk_idle_period: 30m       # 空闲后强制 flush
  chunk_retain_period: 1m30s
  max_chunk_age: 2h            # 最长生命周期
  wal:
    enabled: true              # 预写日志，崩溃恢复
    dir: /loki/wal
  max_transfer_retries: 10

# 压缩算法
# 默认 gzip；Snappy 更快但压缩率低
# 高吞吐场景可配 lz4（更快）或 zstd（平衡）
limits_config:
  compression_algorithm: gzip

limits_config:
  ingestion_rate_mb: 8         # 单实例摄入 MB/s
  ingestion_burst_size_mb: 16
  per_stream_rate_limit: 3     # 单流速率（防单源刷爆）
  per_stream_rate_limit_burst: 6

标签基数 = 标签组合数量（stream 数量）
  例：{job="x", env="prod", pod="pod-1"} 每多一个 pod 值 = 多一个流

危害链：
  基数高 → 流数量爆炸 → 索引膨胀 → 查询扫描慢 → 摄入被拒 → 成本飙升

"基数爆炸"通常来自：
  · 高基数标签（pod ip、request_id、uuid、user）
  · 动态标签（每次重建不同）
  · label 值含时间戳/随机数

好标签（推荐）：
  · job / service（服务名）
  · namespace / environment
  · level（debug/info/error）
  · cluster / region
  · app / component（固定集合）

坏标签（禁止）：
  · pod ip、container id（每次重启变化）
  · request_id / trace_id（每次请求不同）
  · user / account_id（高基数）
  · 时间戳、随机数
  · traceparent 全值

最佳实践：
  · 每服务 stream 数控制在 10^2-10^3 量级
  · 高基数字段 → 留在 content 或 structured metadata

# Loki 4.x 结构化元数据：比标签更轻，查询用 | 过滤
# Promtail pipeline：
- structured_metadata:
    request_id:
      from: request_id          # 从日志内容提取
      source: key
    pod:
      from: __meta_kubernetes_pod_name

# LogQL 查询用结构化元数据过滤：
{job="payment"} | request_id="abc123"
# 不占 stream 基数，性能优于全文正则

# 监控 stream 数量
sum(loki_ingester_streams) by (cluster)
# 高基数告警：单租户 stream 超阈值
max(loki_ingester_streams) > 10000

LogQL 查询铁律：
  1. 先用标签缩小流范围（selector 越窄越好）
  2. 再限定时间范围（5m/1h，而非 7d）
  3. 最后才在内容上过滤

坏：{app="payment"} |= "error"          # 扫全部 payment 日志
好：{app="payment", level="error"}       # 标签层已过滤
更优：{app="payment", level="error"} |= "timeout" [1h]

query_range:
  # 结果缓存（Grafana 时间范围查询命中率提升显著）
  results_cache:
    cache:
      redis:
        endpoint: redis.monitoring:6379
  max_retries: 5
  parallelise_shardable_queries: true   # 分片并行查询
  cache_results: true
  max_query_parallelism: 32
  split_queries_by_interval: 24h        # 大范围拆分

Loki 索引演进：
  旧：BoltDB-Shipper（本地）
  新：TSDB 索引（更紧凑、更快、支持租户级统计）

TSDB 索引优势：
  · 内存映射查询更快
  · 索引与 chunk 均入对象存储（无本地依赖）
  · 支持结构化元数据
  · 存储占用更小

schema_config:
  configs:
    - from: "2026-01-01"
      index:
        period: 24h
        # TSDB 索引（推荐）
        schema: v13
      object_store: s3
      chunks:
        period: 24h
        schema: v13

common:
  storage:
    s3:
      endpoint: minio.monitoring:9000
      region: cn-north-1
      bucketnames: loki-logs
      insecure: true
    filesystem: {}

compactor:
  # 合并小 chunk，减少对象存储碎片
  compaction_interval: 10m
  retention_enabled: true
  delete_request_store: 
    # 删除请求存储
  apply_retention_interval: 5m

limits_config:
  retention_period: 30d          # 默认保留 30 天
  # 按租户覆盖：
  retention_periods:
    - tenant_id: team-payment
      period: 90d
    - tenant_id: team-dev
      period: 7d

保留策略考虑：
  · 合规要求（支付数据 90d+）
  · 对象存储成本（日志是海量低价值数据）
  · 冷数据分层：S3 IA 低频存储

单可写副本（Single Binary / SSDs）→ 中小规模
分布式（读写分离）→ 大规模

分布式组件：
  · write 路径：Distributor + Ingester（状态化，持久 WAL）
  · read 路径：Querier + Query-Frontend + Store-Gateway（无状态）
  · 对象存储统一做 chunk + 索引

扩容建议：
  · 日志量增长 → 扩 Querier / Store-Gateway
  · 摄入峰值 → 扩 Distributor / Ingester 副本
  · 查询慢 → 扩 Query-Frontend + 结果缓存

# Ingester 有状态，用 StatefulSet 管理 WAL 持久化
# 推荐 Kubernetes 分布式模式（Helm chart: loki-distributed）

Loki 成本 = 对象存储（大头） + 计算（查询/摄入） + 网络

控制抓手：
  · 标签基数（直接决定存储）
  · 压缩算法（zstd 比 gzip 省更多）
  · 保留期（按租户分级）
  · 对象存储层级（热数据 S3 标准，冷数据 S3 IA）
  · 采样（debug 级别日志限流）

# 高量低价值日志限流/丢弃
limits_config:
  per_stream_rate_limit: 1MiB
  # 或通过 Promtail pipeline 丢弃：
pipeline_stages:
  - drop:
      expression: "DEBUG"        # 丢弃 DEBUG（或低概率采样）
      drop_counter_reason: debug_noise

# 监控查询负载，定位高开销查询
sum(rate(loki_query_parallelism[1m])) by (query)
# 慢查询日志
# 高基数查询 → 限流 quota

□ 标签基数：每服务 stream < 10^3，无高基数标签
□ 结构化元数据代替高基数标签
□ 保留期分级（按租户/环境）
□ chunk 目标 1.5MiB + WAL 开启
□ TSDB 索引 schema v13
□ 对象存储（S3/MinIO）统一
□ 结果缓存（Redis）开启
□ 查询用 level 标签 / 窄 selector / 短时间窗
□ 大范围查询 split_queries_by_interval
□ 监控自身指标（摄入/查询/基数/压缩）

# 必须监控
loki_ingester_streams                     # 流数量（基数）
loki_ingester_chunks_created_total
loki_distributor_bytes_received_total
loki_querier_logql_queries_total
loki_querier_query_latency_seconds
loki_compactor_compaction_runs_total
# 告警：基数突增、摄入被拒、查询延迟