这里是全站文章的归档入口,下面是按时间倒序排列的全部文章。若想按主题浏览,请从首页的专题分类进入。
异常检测实战:统计方法、隔离森林、AutoEncoder 与不平衡学习
异常检测与不平衡学习实战:异常检测问题定义、统计方法(Z-score/IQR/MAD)、无监督方法(隔离森林/OneClassSVM/LocalOutlierFactor)、深度学习(AutoEncoder 重构误差)、类别不平衡处理(重采样/代价敏感/阈值)、评估与落地。
posts
这里是全站文章的归档入口,下面是按时间倒序排列的全部文章。若想按主题浏览,请从首页的专题分类进入。
异常检测与不平衡学习实战:异常检测问题定义、统计方法(Z-score/IQR/MAD)、无监督方法(隔离森林/OneClassSVM/LocalOutlierFactor)、深度学习(AutoEncoder 重构误差)、类别不平衡处理(重采样/代价敏感/阈值)、评估与落地。
大规模科学计算中,I/O 往往是隐藏的瓶颈。本文系统讲解并行 I/O:MPI-IO 的独立/集合文件视图、HDF5 的数据模型与并行写入、NetCDF 的自描述格式、Lustre 条带化与数据布局优化、I/O 性能剖析(Darshan/io 500),以及从串行读写升级到并行 I/O 的真实路径。
系统讲解微信小程序订阅消息与消息触达体系:一次性与长期订阅的权限机制、模板消息演进到订阅消息、订阅授权时机设计、发送频率控制、服务通知合规要求,以及结合订单、物流、活动等场景搭建完整触达链路。
系统讲解 ClickHouse 维度查询优化:Dictionaries 字典(内置/外部/缓存)与 dictGet 高速取数、JOIN 引擎(Join/Full/PartialMerge)的原理与内存特性、星型模型中事实表 + 维度表的建模、字典更新策略(LIFETIME/复杂键)、宽表 vs 字典 vs JOIN 的取舍,以及多表 JOIN 的实践陷阱。
系统讲解 ClickHouse 复制与跨机房容灾:ReplicatedMergeTree 的复制原理(基于 ClickHouse Keeper/ZooKeeper 的日志复制)、多副本读写路径、副本间数据同步延迟、ClickHouse Keeper 与 ZooKeeper 对比、跨机房部署拓扑(同城双活/异地多活)、脑裂(Split Brain)成因与防护(Keeper 仲裁/quorum)、以及故障切换演练与数据一致性校验。
系统覆盖基于图数据库的推荐系统:协同过滤 vs 图推荐对比、用户-物品二部图建模、基于相似度的推荐(Jaccard/余弦/共同邻居)、基于路径的推荐(元路径/多跳传播)、Neo4j 实时推荐查询、图嵌入推荐(node2vec/GraphSAGE)、混合推荐架构与冷启动治理。
系统覆盖图数据建模的思维转换与实战模式:属性图 vs 关系模型建模差异、节点/关系/属性的建模决策、高基数关系、超节点与超边、时序图建模、动态标签与多对多建模、常见反模式(链式关系、属性塞节点、无差别动态标签)、Neo4j 建模落地与性能权衡。
深入图数据库的存储与执行内核:无索引邻接(index-free adjacency)为何让图查询快、节点/关系/属性在磁盘上的记录布局、遍历引擎与执行计划、标签与属性索引、属性存储与压缩、内存图 vs 磁盘图、事务写入与 WAL、从 Cypher 到物理计划的流水线,以及 Neo4j / JanusGraph / NebulaGraph 的存储引擎对比,帮助理解图数据库快在哪里、瓶颈在哪里。
系统覆盖图嵌入与图神经网络(GNN):图嵌入的动机与三类方法(随机游走/node2vec、矩阵分解、GraphSAGE)、图神经网络核心(消息传递、聚合函数、GCN/GAT)、节点分类/链路预测/图分类任务、训练与评估(划分/度量)、PyTorch Geometric 实战、以及与图数据库的联合应用。
精选 LeetCode 回溯法 10 道必刷题:全排列、子集、组合、组合总和、括号生成、N 皇后、单词搜索、复原 IP 地址、数独、分割回文串,一套通用模板吃透「选与不选」与剪枝去重。
系统掌握 Unix 文本处理工具链:sed 流编辑、awk 字段处理、jq JSON 解析、grep/ripgrep 搜索、sort/uniq/wc、xargs 与管道组合,附一行式速查与数据处理实战场景。
系统讲解现代应用可观测性体系:日志、指标与链路追踪(三支柱)、结构化日志与上下文注入、OpenTelemetry 集成、边缘函数与 Serverless 的可观测性挑战(日志聚合/冷启动/分布式追踪)、错误追踪与 Sourcemap 还原、告警规则与 SLO、以及可观测性闭环与成本控制。
系统覆盖图数据库在反欺诈/风控场景的实战:欺诈图谱的数据建模(设备/IP/账户/联系人)、团伙识别与社群发现(Louvain/连通分量)、环检测与中介中心性、基于图谱的规则引擎、实时反欺诈查询优化、特征提取与模型融合(图特征+机器学习)、以及大规模风控图谱的工程落地。
系统讲解 ClickHouse 列式存储的压缩原理:通用压缩 LZ4/ZSTD 的对比与权衡、专用编解码器(Delta/DoubleDelta/Gorilla)如何针对数据类型优化、压缩率与查询性能的平衡、编解码器选择矩阵(时间戳/数值/字符串/浮点)、压缩率监控与调优实践。
分子动力学(MD)是 HPC 最经典的科学应用之一。本文系统讲解 MD 仿真原理:牛顿积分与力场、邻居列表与域分解并行、GROMACS 与 LAMMPS 的并行加速(OpenMP/MPI/GPU)、PMe 静电与约束算法、Amber 力场选择、性能调优与千万原子规模仿真,以及 MD 工作负载对 HPC 架构的启示。
决策树与树模型实战:信息增益/基尼系数分裂准则、CART 树的构建过程、预剪枝与后剪枝、决策边界与可视化、回归树、树模型的优缺点与使用场景、sklearn 端到端实战。
全面讲解微型博客的关注关系与时间线生成:关注关系数据模型、推模式(Fanout on Write)与拉模式(Fanout on Read)的原理与代价、推拉混合架构(大 V 例外)、冷热分桶与缓存设计、热搜/榜单时间线与推荐时间线,以及时间线系统的分页与一致性。
系统讲解全球部署与合规实践:多区域架构(就近路由/数据驻留)、CDN 与边缘网络的全球策略、数据主权与本地化要求(GDPR/PIPL 等)、跨境数据传输合规、合规审计与数据最小化、中国区部署的特殊性(备案/合规),以及全球合规部署的落地清单。
精选 LeetCode 位运算 8 道必刷题:只出现一次的数字、汉明距离、位1的个数、2的幂、颠倒二进制位、缺失的数字、数字范围按位与、位运算实现加减法,一张表吃透异或与位计数。
系统讲解代币经济设计:代币的价值来源与类型、供应曲线(通胀/固定/通缩)、初始分配与解锁(Vesting)、流动性激励与农场、质押与锁仓、veTokenomics 机制(veCRV 模型)、以及常见设计误区与可持续性框架。