tag

Data Mesh

共 4 篇文章。
全部文章GoTypeScript游戏开发小游戏游戏设计Godot书稿RustPython性能优化游戏引擎PRDSaaS游戏服务端
data-engineering

数据网格 Data Mesh：领域数据产品、自助平台与联邦治理

深入解析数据网格（Data Mesh）架构：领域数据所有权、数据即产品、自助数据平台与联邦计算治理四大原则、领域数据产品的构成要素与产品化思维、自助平台的工程能力清单、集中式治理与联邦治理的边界、与集中式数仓/湖仓的架构对比、组织与平台双轮驱动的落地路径、常见陷阱，以及指标体系驱动的演进路线图。

7 分钟阅读
Data Mesh 数据平台 数据治理
data-engineering

数据工程专题索引：从 ETL 到实时数仓的现代数据架构

数据工程是现代数据驱动组织的核心技术支柱，负责将原始数据转化为可信赖、可访问、可分析的数据资产。本专题系统覆盖数据采集与清洗、ETL/ELT 管道设计、批流一体架构（Spark/Flink）、实时数据仓库（ClickHouse/Doris）、数据质量监控与治理框架（Great Expectations/Soda Core）、数据目录与血缘追踪、Data Mesh 去中心化数据架构、数据平台工程（DBT/Dataform）以及云原生 FinOps 成本优化策略，并深入湖仓一体（Iceberg/Delta Lake/Hudi）、数据可观测性（Data Observability）、反向 ETL 数据激活与特征存储（Feast）、数据管道编排（Airflow/Dagster/Prefect）、指标层与语义层（MetricFlow）、SQL 查询优化（执行计划/分区裁剪）、Schema 迁移与数据演进（expand-contract/双写）、数据安全隐私合规（PII 识别/脱敏/GDPR）以及流处理窗口与水印进阶（事件时间/Exactly-Once）等深度专题，为数据工程师与平台架构师提供从概念到落地的完整知识体系。并补齐数据管道测试与 CI/CD（单元测试/数据 diff 门禁/制品晋级）、Spark 性能调优（Shuffle/内存/数据倾斜）、Flink 状态后端与 Checkpoint 调优、流式 SQL（Flink SQL/ksqlDB）、非结构化文档 ETL 与多模态数据、湖仓访问控制与权限治理（行过滤/列掩码/统一 Catalog）等进阶议题。

20 分钟阅读
数据工程 ETL 实时数仓