posts

文章归档

PlumePHP 全站文章的归档入口,按时间倒序汇总各专题的技术文章,并提供按主题浏览的专题分类入口。

这里是全站文章的归档入口,下面是按时间倒序排列的全部文章。若想按主题浏览,请从首页的专题分类进入。

全部文章

全部文章 game golang 客户端开发 Minigame Saas rust Python Java cg Typescript
ai

分布式训练实战:DDP、FSDP、ZeRO 与大规模训练工程

大模型训练离不开多卡分布式,本文系统讲解 DDP 数据并行原理与 AllReduce、混合精度训练(FP16/BF16)、梯度累积与梯度裁剪、ZeRO 分片(ZeRO-1/2/3)、FSDP 全分片数据并行、张量并行与流水线并行、checkpoint 与断点续训、以及分布式训练排错(NCCL 超时/OOM/收敛异常)的完整工程方法论。

7 分钟阅读
分布式训练 检查点 数据并行
data-engineering

数据管道编排:Airflow、Dagster 与 Prefect 生产实践

深入解析数据管道编排(Pipeline Orchestration):编排与调度的区别、Airflow/Dagster/Prefect 三大框架对比与选型、DAG 设计模式(依赖管理/幂等/重试/超时)、动态任务与数据感知调度、编排中的资源与并发控制、失败重试与告警、可观测性与可测试性,以及端到端数据编排平台的生产架构。

8 分钟阅读
Airflow Dagster Prefect
kafka

Kafka 消费组与再平衡深入:协议演进、分配策略与稳定性调优

系统讲解 Kafka 消费组与再平衡机制:消费组模型与心跳协议、Eager 与 CooperativeSticky 两代再平衡协议、JoinGroup/SyncGroup/Heartbeat 完整流程、四种分区分配策略(Range/RoundRobin/Sticky/CooperativeSticky)、再平衡频繁的根因排查(max.poll.interval/session.timeout/处理耗时)、静态成员与滚动重启、以及位移提交与再平衡配合的稳定性工程实践

7 分钟阅读
Kafka 稳定性
GraphQL

GraphQL 认证与授权:从 JWT 到字段级权限

GraphQL 认证与授权实战:认证(AuthN)与授权(AuthZ)的区别、JWT/Session/OAuth 在 GraphQL 中的落地、context 中的用户解析、字段级与行级权限(RBAC/ABAC)、resolver 层的授权模型、Federation 场景的跨子图授权、深度查询的成本控制、GraphQL 特有的安全攻击面(复杂查询/别名滥用/信息泄露)与授权测试策略。

9 分钟阅读
GraphQL authentication Authorization
ai

LLM 推理优化全栈指南:从 KV Cache 到投机解码

大模型部署的成本与延迟由推理优化决定,本文系统讲解自回归生成的内存瓶颈、KV Cache 原理与显存计算公式、PagedAttention 与连续批处理、GPTQ/AWQ/INT8 权重量化、投机解码与并行生成、前缀缓存与 Prompt 优化、TTFT/TPOT/ITL 指标,以及 vLLM/TensorRT-LLM/llama.cpp 框架选型与生产容量规划的完整方法论。

8 分钟阅读
KV Cache PagedAttention 连续批处理