压缩算法选型:lz4、zstd、snappy 与 gzip
系统讲解 Kafka 压缩算法选型:压缩发生在生产端还是 broker、lz4/snappy/gzip/zstd 四种算法的压缩比与吞吐实测、批量大小对压缩率的影响、broker 端重压缩配置、消息格式版本兼容性,以及按场景选择算法的决策方法
tag
系统讲解 Kafka 压缩算法选型:压缩发生在生产端还是 broker、lz4/snappy/gzip/zstd 四种算法的压缩比与吞吐实测、批量大小对压缩率的影响、broker 端重压缩配置、消息格式版本兼容性,以及按场景选择算法的决策方法
RedisTimeSeries 时序数据实战:TS.CREATE 建序列与 RETENTION/ENCODING/CHUNK_SIZE 参数、TS.ADD/TS.MADD 写入与自动建键、TS.INCRBY/DECRBY 计数器、标签 LABELS 与过滤查询、TS.CREATERULE 降采样规则与聚合器(avg/sum/min/max/count/first/last/std.p/twa)、保留策略与压缩编码(UNCOMPRESSED/COMPRESSED/GORILLA/DOUBLE_DELTA)、TS.RANGE/TS.MRANGE/TS.MGET/TS.MREVRANGE 查询与 BUCKET 聚合、TS.QUERYINDEX 索引发现、与 Prometheus/Grafana 监控结合、容量规划与生产实践
静态加密与压缩实战:WiredTiger 静态加密配置、KMS 与 KMIP 密钥管理、Client-Side FLE 客户端字段级加密、Queryable Encryption 可查询加密、snappy/zstd 块压缩与性能权衡
系统讲解 Kafka Producer 内部机制:发送缓冲与批量(RecordBatch/buffer.memory/batch.size/linger.ms)、消息压缩(gzip/snappy/lz4/zstd 对比)、acks 语义与吞吐延迟权衡、分区器与 key 路由、幂等生产者与事务衔接、发送错误处理(重试/可重试与不可重试错误)、以及吞吐调优(批量大小/压缩级别/并发发送/监控指标)的工程实践
系统讲解通用数据压缩:熵与信息量的直觉、Huffman 编码(前缀码/建树/解码)、LZ77/LZ78 与 Deflate、LZMA/zstd/brotli 对比、压缩级别权衡(速度 vs 比率)、分块与字典、常见格式(gzip/bzip2/xz)的适用场景,以及压缩在生产中的使用决策。
系统讲解 ClickHouse 列式存储的压缩原理:通用压缩 LZ4/ZSTD 的对比与权衡、专用编解码器(Delta/DoubleDelta/Gorilla)如何针对数据类型优化、压缩率与查询性能的平衡、编解码器选择矩阵(时间戳/数值/字符串/浮点)、压缩率监控与调优实践。
本文详解 Go 标准库中 compress/gzip、archive/tar 和 archive/zip 的使用方式,涵盖日志压缩、文件打包、HTTP 响应流式输出等实战场景,附带性能对比和常见错误排查。