日志采样、去重与降噪：从每天 TB 级日志里捞出信号

一、重复型
  同一错误在短时间内被大量实例/线程重复打印
  特征：消息体完全相同，只有时间戳与主机不同
  对策：指纹去重 + 计数

二、模板型
  大量结构相同、只有变量不同的日志
  "user 12345 logged in from 10.0.0.7"
  "user 67890 logged in from 10.0.0.8"
  特征：可抽象为同一个模板
  对策：模板化聚类，按模板聚合统计

三、调试型
  DEBUG/TRACE 级别日志误开到生产
  特征：量大、低价值、可预测
  对策：源头级别控制 + 采样

四、周期性型
  健康检查、心跳、定时任务日志
  特征：周期性、量大、稳态
  对策：白名单过滤或降采样

实践组合：
  头部：按级别与随机比例丢弃（DEBUG 全丢、INFO 按 10%）
  尾部：在 Collector 按"是否含 error/trace 关键字段"决定保留
  两者叠加：头部先削掉绝大部分，尾部精细决定留什么

import hashlib

def keep(trace_id: str, rate: float) -> bool:
    """按 trace_id 一致性采样：同一条 trace 全留或全丢。"""
    h = int(hashlib.md5(trace_id.encode()).hexdigest()[:8], 16)
    return (h % 10000) < int(rate * 10000)

# 用法：rate=0.1 时约 10% 的 trace 全量保留
for line in stream:
    if line.get("trace_id") and not keep(line["trace_id"], 0.1):
        continue
    emit(line)

要点：
  哈希对象必须是"逻辑单元"（trace_id / request_id / session_id）
  这样能保证"要么看到完整链路，要么完全不看"
  与链路的采样率保持一致，才能保证指标-链路-日志三者可对齐

级别      保留策略              说明
ERROR     100% 保留             错误必须可追溯
WARN      100% 或 50%           视噪声程度
INFO      5%~20%（按 trace 一致）  主体采样对象
DEBUG     生产关闭 / 0.1%       仅在排障时按服务临时开启
TRACE     生产关闭              同上

特殊规则（覆盖级别策略）：
  含 exception / stack_trace   → 强制保留
  含 http_status >= 500        → 强制保留
  命中特定业务关键字段（订单号、支付流水）→ 强制保留
  健康检查 / 心跳（路径白名单）→ 强制丢弃

归一化步骤：
  1. 去掉时间戳、主机名、进程号、线程号
  2. 把数字替换为占位符 <NUM>
  3. 把 UUID / trace_id / IP / 路径参数替换为占位符
  4. 去掉堆栈中的行号
  5. 对归一化后的字符串计算哈希（如 MD5/SHA1 前 8 字节）

示例：
  原始：2026-10-07 09:12:33 ERROR [order-3] Payment failed for user 12345 at /pay/9876
  归一：ERROR [order-<NUM>] Payment failed for user <NUM> at /pay/<NUM>
  指纹：3f8a1c9e

import re, hashlib

RULES = [
    (re.compile(r"\d{4}-\d{2}-\d{2}[T ]\d{2}:\d{2}:\d{2}(\.\d+)?(Z|[+-]\d{2}:?\d{2})?"), "<TS>"),
    (re.compile(r"\b[0-9a-f]{8}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{12}\b", re.I), "<UUID>"),
    (re.compile(r"\b[0-9a-f]{16,32}\b", re.I), "<HEX>"),
    (re.compile(r"\b\d{1,3}(\.\d{1,3}){3}\b"), "<IP>"),
    (re.compile(r"\b\d+\b"), "<NUM>"),
    (re.compile(r"\s+"), " "),
]

def fingerprint(msg: str) -> str:
    s = msg
    for pat, rep in RULES:
        s = pat.sub(rep, s)
    return hashlib.sha1(s.strip().encode()).hexdigest()[:16]

# 堆栈单独处理：只取前若干帧 + 异常类型，去掉行号与内存地址
def stack_fingerprint(stack: str) -> str:
    frames = [l for l in stack.splitlines() if l.strip().startswith("at ")][:5]
    norm = re.sub(r":\d+\)", ")", "|".join(frames))
    norm = re.sub(r"0x[0-9a-f]+", "0xADDR", norm)
    return fingerprint(norm)

去重键：(fingerprint, service, level)
窗口：滑动窗口（如 60s），窗口内相同指纹只保留首条

输出形态（"折叠"日志）：
  {
    "fingerprint": "3f8a1c9e",
    "service": "order-svc",
    "level": "error",
    "template": "Payment failed for user <NUM> at /pay/<NUM>",
    "count": 48213,              # 窗口内出现次数
    "first_seen": "2026-10-07T09:12:33Z",
    "last_seen": "2026-10-07T09:13:28Z",
    "sample": "Payment failed for user 12345 at /pay/9876"
  }

好处：
  存储从 48213 条降到 1 条
  但保留了"发生了多少次、什么时候开始"这两个最关键信息

必须保留的元信息：
  count（次数）—— 判断影响面
  first_seen —— 判断"何时开始"，这是根因定位的关键时间点
  last_seen  —— 判断"是否仍在发生"
  sample     —— 保留一条原始样本，便于看具体上下文

常见错误：只保留最后一条，丢失 first_seen
  → 故障开始时间只能靠猜

风险一：把"不同但相似"的日志合并
  归一化过于激进（如把所有数字都替换）会误合并
  对策：指纹只用于"折叠展示"，原始日志仍需可回溯（冷存储保留）

风险二：丢失时序信息
  折叠后无法看到"错误速率随时间变化"
  对策：折叠日志同时输出 rate 指标（按指纹维度），速率看指标

风险三：去重状态占用内存
  窗口内指纹表可能很大
  对策：用布隆过滤器做前置判断 + LRU 淘汰，或分片到多实例

Drain 的核心思想：
  1. 按日志长度分层（长度相同的才可能是同一模板）
  2. 按前若干 token 分桶
  3. 桶内与已有模板比较相似度（相同 token 数 / 总 token 数）
  4. 相似度超阈值 → 归入该模板并更新占位符
     否则 → 新建模板

参数：
  depth        解析树深度（用前几个 token 分桶），常用 4
  sim_th       相似度阈值，常用 0.4~0.5
  max_children 每层最大子节点数，控制内存

用途一：日志"压缩视图"
  把 100 万条日志聚成 200 个模板，按出现频次排序
  运维一眼看到"哪类日志在暴增"

用途二：异常检测的输入
  统计每个模板的出现频次时序，对模板做异常检测
  "某个以前从不出现的模板突然高频出现" = 强异常信号

用途三：新模板告警
  新出现的模板（首次出现）往往对应新故障或新版本回归
  可作为低噪声的告警源，比"关键字匹配"更鲁棒

# 用 Drain3 做在线模板聚类的骨架
from drain3 import TemplateMiner
from drain3.template_miner_config import TemplateMinerConfig

config = TemplateMinerConfig()
config.drain_depth = 4
config.drain_sim_th = 0.4
miner = TemplateMiner(config=config)

for line in log_stream:
    result = miner.add_log_message(line)
    cluster = result["cluster_id"]
    template = result["template_mined"]
    # 模板频次作为指标导出
    template_counter.labels(cluster=cluster, template=template).inc()

# 某模板出现频次的突增（相对 1 小时前）
sum by (template) (rate(log_template_total[5m]))
/
sum by (template) (rate(log_template_total[5m] offset 1h)) > 10

这条查询的价值：
  它不依赖关键字，因此不会漏掉"没写 error 字样但确实是错误"的日志
  它把"日志暴增"这件事变成了可告警的数值指标
  它天然降噪——稳态模板的比值稳定在 1 附近，不产生噪声

# Collector 侧的过滤处理器（示意）
processors:
  filter/drop-noise:
    error_mode: ignore
    logs:
      log_record:
        # 丢弃健康检查与心跳
        - 'IsMatch(body, "^(GET /healthz|GET /readyz|heartbeat)")'
        # 丢弃已知的良性警告
        - 'severity_number < SEVERITY_NUMBER_WARN and IsMatch(body, "cache miss")'
        # 丢弃调试级别
        - 'severity_text == "DEBUG" and resource.attributes["deployment.environment"] == "prod"'

基线构建：
  对每个指纹，统计过去 7 天同一时段的频次（按小时分桶）
  取中位数与 MAD（绝对中位差）作为稳健基线
  偏离超过 N 倍 MAD → 触发

为什么用中位数 + MAD 而非均值 + 标准差：
  日志频次分布长尾严重，均值与标准差会被极端值拉偏
  中位数与 MAD 对离群点稳健

抑制策略：
  同一指纹在 5 分钟内只告一次（聚合告警）
  同一服务的多个指纹同时告警 → 只报"服务 X 日志异常"，避免告警风暴

根因抑制（Root Cause Suppression）：
  若已知下游服务 D 故障，则抑制所有"因 D 超时而报错"的上游告警
  实现：告警规则中标注依赖关系，抑制规则按依赖图传播

聚合告警：
  500 个实例各报一次 → 聚合成一条"服务 X 在 N 个实例上出现错误"
  聚合维度：service + fingerprint

静默窗口：
  发布、演练期间主动静默指定标签的告警
  静默必须有过期时间，避免"永久静默"成为技术债

裁剪优先级：
  1. 大字段：完整请求体、base64 图片、长堆栈 → 截断并标注 truncated=true
  2. 冗余字段：重复的 service/host/version（可放资源属性而非每条记录）
  3. 未索引字段：仅用于展示的字段不建索引
  4. 高频低价值字段：健康检查路径、User-Agent 全量

量化：
  一条日志从 2KB 裁到 400B，量不变的情况下存储降 80%
  若再叠加 10% 采样，总成本可降到原来的 2%

分层要点：
  冷层只保留"原始日志 + 基础元数据"，不建全文索引
  查询冷层接受分钟级延迟
  折叠后的指纹统计长期保留（体积极小，价值极高）

调优方法（用数据而非直觉）：
  1. 统计各服务的日志量与查询频次
  2. 计算"每条日志被查询的概率"
  3. 低查询概率 + 高量 → 加大采样
  4. 高查询概率 → 保持或降低采样

红线：
  ERROR 级别不采样
  涉及计费、审计的日志不采样（合规要求）
  采样必须可关闭（排障时临时全量）

落地顺序（从收益最高、风险最低开始）：
  第一步：源头级别治理（关 DEBUG、砍健康检查日志）
    收益立竿见影，零风险
  第二步：字段裁剪（截断大字段、去冗余）
    收益高，需逐个服务确认
  第三步：指纹去重（折叠展示 + 计数）
    收益高，需注意不丢 first_seen
  第四步：一致性哈希采样（按 trace）
    收益中高，需与链路采样对齐
  第五步：模板聚类 + 新模板告警
    收益中，工程量大，作为长期能力建设

□ 生产关闭 DEBUG/TRACE，按需临时开启且自动恢复
□ 健康检查、心跳、周期性任务日志源头丢弃
□ ERROR/含异常堆栈的日志 100% 保留
□ 采样按 trace_id 一致性哈希，与链路采样率对齐
□ 指纹去重保留 count / first_seen / last_seen / sample
□ 大字段截断并标注，避免索引无用字段
□ 模板频次导出为指标，用比值告警捕获"日志暴增"
□ 冷层用对象存储，不建全文索引
□ 告警聚合到 service + fingerprint，抑制根因下游噪声
□ 采样与静默都必须可关闭、可过期