Airflow DAG 调度体系
本文系统讲解 Airflow 的调度体系与工程实践，回答 DAG 该怎么写、调度周期与数据区间如何对齐、回填为什么容易重跑出错、Executor 怎么选。覆盖 TaskFlow API、数据区间语义与 catchup、任务幂等设计、动态任务映射、传感器与 deferrable 模式、XCom 传递边界、池与并发控制、Asset 数据驱动调度、迁移管道编排与性能调优。
tag
Airflow
共 5 篇文章。
数据管道编排：Airflow、Dagster 与 Prefect 生产实践
深入解析数据管道编排（Pipeline Orchestration）：编排与调度的区别、Airflow/Dagster/Prefect 三大框架对比与选型、DAG 设计模式（依赖管理/幂等/重试/超时）、动态任务与数据感知调度、编排中的资源与并发控制、失败重试与告警、可观测性与可测试性，以及端到端数据编排平台的生产架构。
数据可观测性：从管道监控到数据宕机的全方位保障
系统解析数据可观测性（Data Observability）的落地体系：管道 Job 状态/耗时/失败率监控、数据新鲜度与数据宕机概念、Volume/Quality/Schema 四类核心指标、Airflow/Dagster 工作流可观测性、日志与链路追踪、告警分级与 on-call 机制，以及与 dbt/ELT 管道的深度集成，附生产配置与案例。
数据工程深度指南：Modern Data Stack 全栈实践
深入探索 Modern Data Stack 的每个组件：ELT/ETL 架构选型、dbt 数据转换、数据仓库/湖/湖仓一体、Airflow/Prefect/Dagster 编排、Great Expectations/Soda 数据质量、DataHub/Amundsen 数据目录与治理。附完整代码示例与对比表。
Python 数据工程与 ETL 管道实战
Python 数据工程全景：ETL 核心模式、Pandas 高级数据转换、Polars 高性能引擎、Pandera 数据校验、Airflow 与 Dagster 管道编排、增量处理与 CDC、数据质量监控，以及从 API 到数据仓库的完整实战。