posts

文章归档

PlumePHP 全站文章的归档入口,按时间倒序汇总各专题的技术文章,并提供按主题浏览的专题分类入口。

这里是全站文章的归档入口,下面是按时间倒序排列的全部文章。若想按主题浏览,请从首页的专题分类进入。

全部文章

全部文章 game golang 客户端开发 Minigame Saas rust Python Java cg Typescript
data-engineering

湖仓访问控制与权限治理

湖仓把数据放进对象存储后,权限不再由数据库统一把守,任何人都可能绕过引擎直读文件。本文拆解湖仓权限的三层模型(存储层、表层、行列表级)、Iceberg 与 Delta 的表级授权、统一 Catalog 与凭证下发机制、行过滤与列掩码、标签驱动的访问控制、跨引擎权限一致性、审计与合规落地,并给出最小权限的推进路径与踩坑清单。

10 分钟阅读
访问控制 行级权限
data-engineering

非结构化文档 ETL 与多模态数据

企业 80% 的数据躺在 PDF、扫描件、Office 文档、邮件与音视频里,它们无法被 SQL 直接查询。本文讲清非结构化 ETL 的完整链路:文档解析工具选型与 PDF 三种形态的差异、OCR 与版面分析、表格抽取、分块策略与重叠控制、元数据与血缘注入、嵌入生成与向量入库、增量重处理与幂等设计,以及质量评估、成本控制与常见踩坑清单。

8 分钟阅读
OCR 多模态 ETL
data-engineering

Flink 状态后端与 Checkpoint 调优

Flink 作业的稳定性最终落在状态与 Checkpoint 上:状态后端选错会导致 OOM,Checkpoint 参数配错会让作业反复重启。本文拆解 HashMapStateBackend 与 RocksDB 的取舍、Checkpoint 间隔/超时/并发/增量/非对齐的参数含义、State TTL 与状态规模治理、本地恢复把恢复时间从分钟压到秒,并给出监控指标、参数模板与踩坑清单。

8 分钟阅读
RocksDB Checkpoint 状态后端
data-engineering

Spark 性能调优:Shuffle、内存与数据倾斜

Spark 作业变慢的原因通常只有三个:Shuffle 太贵、内存不够用、数据分布不均。本文从执行计划与 Spark UI 定位瓶颈入手,拆解 Shuffle 的落盘与网络代价及减少手段、统一内存管理与 executor 内存分配公式、GC 与序列化选择、数据倾斜的识别与加盐/广播/AQE 三类解法、小文件与小分区治理,并给出可直接套用的参数基线与调优流程。

8 分钟阅读
内存调优 性能优化
data-engineering

数据管道测试与 CI/CD:从单元测试到数据 diff 门禁

数据管道的测试无法照搬应用测试:SQL 转换、状态存储与外部依赖让单元测试、集成测试和生产验证各有分工。本文拆解管道测试金字塔的分层策略、dbt 与 pytest 的单元测试写法、容器化集成测试、数据 diff 与对账断言、契约与 Schema 兼容性校验、CI/CD 流水线设计(分支构建、制品晋级、幂等回滚),以及影子运行与灰度发布的生产验证方法与常见反模式。

8 分钟阅读
CI/CD dbt 契约测试
ai

RAG 推理链路优化:把检索、重排与生成串成低延迟流水线

RAG 的端到端延迟由「检索 → 重排 → 上下文构造 → 生成」四段串联,任何一段慢都会拖垮整体。很多人只优化生成,却忽略检索与重排才是长尾的主要来源。本文拆解 RAG 链路的延迟分解,给出检索/重排/生成各段的优化手段、跨段流水线并行、缓存分层设计与端到端评测方法,把 RAG 从「能跑」优化到「快且稳」。

8 分钟阅读
RAG 推理优化 延迟优化
ai

推理服务弹性伸缩与冷启动优化:从 HPA 到缩容到零

推理服务的扩缩容比普通 Web 服务难得多:GPU 昂贵、模型加载慢、并发数比 QPS 更能反映压力。用 CPU 利用率做 HPA 指标,往往扩不起来或扩过头。本文讲清推理扩缩容的指标选择(队列深度/KV cache/GPU 利用率)、KEDA 与 HPA 实践、冷启动瓶颈与优化、缩容到零与预热池设计,以及多级伸缩架构。

8 分钟阅读
弹性伸缩 冷启动 推理服务