posts

文章归档

PlumePHP 全站文章的归档入口,按时间倒序汇总各专题的技术文章,并提供按主题浏览的专题分类入口。

这里是全站文章的归档入口,下面是按时间倒序排列的全部文章。若想按主题浏览,请从首页的专题分类进入。

全部文章

全部文章 game golang 客户端开发 Minigame Saas rust Python Java cg Typescript
ai

大模型高效微调:从全参微调到 LoRA/QLoRA 与 DPO

全参数微调大语言模型在显存、数据与工程成本上都不现实,参数高效微调(PEFT)成为主流选择。本文系统讲解微调技术全景:全参微调的局限、LoRA 低秩分解原理与实现、QLoRA 的 4bit 量化与嵌套量化、Adapter 与 Prefix Tuning、微调数据构造与合成、训练超参配置、评测与过拟合防护,以及 SFT 与 DPO 两条对齐路线的工程实践对比。

10 分钟阅读
微调 LoRA QLoRA
ai

算子融合与 Kernel 优化:从 CUDA Graph 到 FlashAttention 的极致性能

在 GPU 推理中,最贵的往往不是计算,而是数据搬运:每一个算子都要把中间结果写回显存、再读出来,内存带宽成为瓶颈。算子融合就是把多个算子合并成一个 kernel,减少显存往返,是 TensorRT、vLLM、PyTorch 编译器都在做的事。本文从融合原理讲起,拆解 FlashAttention 类融合,再到 CUDA Graph 与自定义 kernel 开发流程。一、为什么需要算子融合

8 分钟阅读
CUDA FlashAttention 性能优化