https://plumephp.com/tags/airflow/Recent content in Airflow on PlumePHPHugozh-CNTue, 01 Sep 2026 10:00:00 +0800https://plumephp.com/data-engineering-overview/Tue, 01 Sep 2026 10:00:00 +0800https://plumephp.com/data-engineering-overview/<p>数据工程（Data Engineering）是连接原始数据与数据驱动决策的核心桥梁。Modern Data Stack（现代数据技术栈）以 ELT 为核心范式，以云数据仓库/湖仓为存储底座，以声明式工具替代手写代码，以 DataOps 重塑数据交付流程。本文从架构演进、核心组件、代码实践与数据治理四个维度，构建一份可落地的全栈深度指南。</p>https://plumephp.com/python-data-engineering-etl/Tue, 18 Aug 2026 11:00:00 +0800https://plumephp.com/python-data-engineering-etl/<h2 id="1-etl-基础抽取转换加载">1. ETL 基础：抽取、转换、加载</h2> <p>ETL（Extract-Transform-Load）是数据工程中最经典也最核心的数据处理模式。它的本质使命是将分散在各处的原始数据，经过系统化清洗与重组后，加载到目标存储中，使其能够被数据分析、机器学习模型或者业务报表直接消费。任何数据驱动型组织的底层基础设施，几乎都离不开一套稳定、可扩展的 ETL 管道。理解每个阶段的设计原则和常见陷阱，是构建可维护数据架构的第一步。</p>