Linux journald 日志管理：journalctl 实战、持久化与轮转策略

内核日志 / 服务 stdout / 服务 stderr / syslog 消息
        ↓
   journald 统一采集
        ↓
   二进制 journal 文件（/run/log/journal 或 /var/log/journal）
        ↓
   journalctl 查询（字段过滤、时间线、级别）

journalctl                      # 全部日志（可能很长）
journalctl -n 50                # 最后 50 行
journalctl -f                   # 跟随实时输出（类似 tail -f）
journalctl --no-pager           # 不分页输出
journalctl -n 20 -o short-iso   # 输出格式：带 ISO 时间戳

journalctl -o short       # 默认简短
journalctl -o json        # JSON 结构化
journalctl -o short-iso   # ISO 8601 时间
journalctl -o verbose     # 显示全部字段

journalctl -u nginx.service        # nginx 的日志
journalctl -u nginx -u mysql       # 多个服务
journalctl -u nginx -f             # 实时跟随

journalctl --since "2026-09-28 09:00:00"          # 从某时刻
journalctl --since yesterday                       # 昨天
journalctl --since "1 hour ago"                    # 最近 1 小时
journalctl --since "2026-09-01" --until "2026-09-05"
journalctl -u nginx --since today                  # 今天某服务

journalctl -p err                 # 只看错误级（err 及以上）
journalctl -p warning             # warning 及以上
journalctl -p info -p err -u app  # 组合
# 优先级：emerg alert crit err warning notice info debug

journalctl -u myapp --since "30 min ago" -p err -n 50 --no-pager

# 创建持久化目录（自动启用持久化）
sudo mkdir -p /var/log/journal
sudo systemctl restart systemd-journald

ls /var/log/journal/<machine-id>/   # 出现持久 journal 文件
du -sh /var/log/journal

内存 journal：写入快、不磨损磁盘
但重启丢失 → 排错时「找不到上次崩溃日志」很痛苦
生产服务器：几乎都应启用持久化

[Journal]
# 存储位置：persistent / volatile / auto
Storage=persistent

# 日志最大大小（默认 4G 的 SystemMaxUse）
SystemMaxUse=2G
SystemMaxFileSize=64M
SystemKeepFree=1G

# 按大小轮转
SystemMaxFiles=8

# 强制压缩
Compress=yes

sudo systemctl restart systemd-journald

_PID           进程 ID
_UID           用户 ID
_HOSTNAME      主机名
_SYSTEMD_UNIT  来源 unit
_MACHINE_ID    机器 ID
_BOOT_ID       启动 ID（区分本次开机）
__REALTIME_TIMESTAMP  时间戳

# 按进程
journalctl _PID=1234
# 按来源 unit
journalctl _SYSTEMD_UNIT=nginx.service
# 按启动周期（只看本次开机）
journalctl -b 0
# 看上次开机
journalctl -b -1
# 某字段是否存在
journalctl _HOSTNAME=web-01 --since today

# 某 PID 在本次开机内的错误
journalctl -b 0 _PID=1234 -p err

# 1. 确保 rsyslog 在跑
systemctl status rsyslog
# 2. journald 自动转发 syslog 消息（默认已配 imjournal 模块）
# /etc/rsyslog.conf 里：
module(load="imjournal" StateFile="imjournal.state")
# 3. 传统 /var/log/syslog 会收到 journal 中标记为 syslog 的消息

// C：用 sd_journal_print 写结构化日志
#include <systemd/sd-journal.h>
sd_journal_send("MESSAGE=Hello World",
                "PRIORITY=6",
                "APP=myapp",
                NULL);

import systemd.journal
journal.send('app starting', PRIORITY=6, APP='myapp')

# 收集端（server A）
sudo systemctl enable systemd-journal-remote.socket
# 发送端（client）
journalctl --output=export | systemd-journal-remote --output=/var/log/journal/hostname

# filebeat（ELK）从 journal 采日志
# /etc/filebeat/filebeat.yml
filebeat.inputs:
  - type: journald
    seek: tail
output.elasticsearch:
  hosts: ["log-server:9200"]

[Journal]
# 高频日志限速（防日志风暴）
RateLimitIntervalSec=5s
RateLimitBurst=10000

# 及时落盘（性能换可靠性）
SyncIntervalSec=5m

journalctl --disk-usage    # 当前占用
journalctl --vacuum-size=1G      # 删到 1G 以内
journalctl --vacuum-time=7d      # 只留 7 天
journalctl --vacuum-files=5      # 只留 5 个文件