AI 模型的训练成本极其高昂，但真正的商业价值来自于推理——用最低的成本、最高的吞吐量、最低的延迟将模型部署到生产环境服务用户。本专题正是聚焦"从模型到服务"这一关键环节。
本专题共收录 44 篇深度文章，覆盖 GPU 并行编程基础、深度学习推理优化、算子融合与 Kernel 优化、AI 编译器（TVM/MLIR/torch.compile）、FlashAttention 与注意力内核、模型量化与压缩（INT8/FP16/FP8/GPTQ/QAT）、KV Cache 与 PagedAttention、投机采样、NCCL 集合通信与多卡推理、MoE 稀疏专家推理、Prefill/Decode 分离与连续批处理、LLM 服务可观测性、推理安全防护、Serverless 推理平台、性能调优、分布式推理与 GPU 集群调度、推理基准与压测、多模态与边缘端推理部署、前缀缓存与语义缓存、长上下文推理、多 LoRA 服务、GPU 共享与调度、分布式训练与 FSDP、异构硬件适配（ROCm/Intel/国产 NPU）、以及生产级推理服务工程化。与 ai-ml（算法训练）和 llm（应用开发）形成完整的 AI 技能拼图。
📌 定位区分：
- ai-ml 专题：传统 ML/DL 算法原理与训练（TensorFlow/PyTorch、CNN/RNN/Transformer、MLOps）
- llm 专题：大语言模型应用开发（API调用、RAG、Agent、Prompt Engineering）
- ai（本专题）：模型推理加速与系统工程（CUDA、TensorRT、ONNX、vLLM、模型量化、推理服务部署）
一、GPU 并行计算基础
1.1 CUDA 编程
| 文章 | 核心内容 | 硬件基础 |
|---|---|---|
| CUDA 编程入门：从 Hello GPU 到线程网格模型 | CUDA 编程模型（Grid/Block/Thread）、显存层次结构（Global/Shared/Constant/Texture）、核函数调用语法、CUDA Stream 异步执行、GPU 架构概览（SM/CUDA Core/Tensor Core） | NVIDIA GPU 架构演进 |
| CUDA 内存管理与性能优化：Bank Conflict 与合并访问 | 全局内存合并访问、共享内存 Bank Conflict、纹理内存与缓存、Unified Memory、内存传输优化（Pinned Memory / cudaMemcpyAsync） | profiler: nvprof/Nsight |
| cuBLAS / cuDNN / cuFFT：NVIDIA 加速库实战 | cuBLAS 矩阵运算、cuDNN 卷积/池化/RNN 描述符、cuFFT 快速傅里叶变换、Thrust 并行算法库、Cutlass 模板化 GEMM 库 | 深度学习推理加速 |
1.2 其他 GPU 编程模型
| 文章 | 核心内容 | 适用场景 |
|---|---|---|
| HIP / ROCm：AMD GPU 的 CUDA 替代路径 | HIP 编译链、CUDA→HIP 代码迁移、ROCm 平台生态（MIOpen/rocBLAS）、AMD CDNA/RDNA 架构对比 | 国产化 / 成本敏感场景 |
| OpenCL 与跨平台 GPU 编程：从理论到边缘部署 | OpenCL 平台/设备/上下文模型、核函数与内存对象、OpenCL 2.x SVM/OpenCL 3.0 特性、在移动端和 FPGA 上的部署 | 边缘设备 / 跨平台需求 |
二、深度学习推理引擎与优化
2.1 NVIDIA 生态
| 文章 | 核心内容 | 性能收益 |
|---|---|---|
| TensorRT 深度实践：从 ONNX 到高性能推理引擎 | TensorRT 核心流程（Parser → Builder → Engine → Inference）、网络层融合、动态 Shape、多流执行、自定义 Plugin（IPluginV2）、序列化与反序列化 | 3-10x 加速 |
| TensorRT-LLM：大语言模型的高效推理部署 | GPT/LLaMA 结构优化、In-flight Batching、PagedAttention、TP/PP 张量/流水线并行、KV Cache 管理 | LLM 推理 5-20x 吞吐提升 |
| NVIDIA Triton Inference Server 生产部署 | Triton 架构（模型仓库/调度器/后端）、动态批处理（Dynamic Batching）、模型热更新、多框架后端（TensorFlow/ONNX/PyTorch/TensorRT）、gRPC/HTTP 服务暴露、Metrics 监控集成 | 生产级推理服务 |
2.2 跨平台推理引擎
| 文章 | 核心内容 | 适用场景 |
|---|---|---|
| ONNX Runtime 跨平台推理优化 | ONNX 格式与模型导出、ORT 执行提供器（CUDA/TensorRT/DirectML/CoreML/OpenVINO）、图优化（常量折叠/算子融合）、线程与内存配置、动态 Shape 与自定义算子 | 跨平台部署首选 |
| OpenVINO 与 Intel 推理加速：CPU 上的深度学习 | 模型优化器（FP32→FP16/INT8）、推理引擎 IR 格式、异步 API、多设备插件（CPU/GPU/MYRIAD/GNA）、性能计数器与调优 | Intel CPU / 边缘盒子 |
| 推理引擎终极对比：TensorRT vs ONNX Runtime vs OpenVINO | 延迟/吞吐量/内存/易用性/生态覆盖全维度对比矩阵、选型决策树、混合部署策略（云端 TensorRT + 边缘 ONNX Runtime） | 技术选型 |
| 异构推理硬件：ROCm、Intel 与国产 NPU 适配实践 | ROCm/HIP 生态与 CUDA 迁移成本、Intel GPU（oneAPI/IPEX）与 Gaudi、国产 NPU（昇腾 CANN/寒武纪）适配路径、算子覆盖率与回退策略、异构集群统一调度 | 国产化 / 多硬件池 |
2.3 Kernel 级优化
| 文章 | 核心内容 | 优化收益 |
|---|---|---|
| 算子融合与 Kernel 优化：从 CUDA Graph 到 FlashAttention | 算子融合原理（元素级/残差/在线 Softmax）、FlashAttention 类融合、CUDA Graph 捕获与图执行、自定义 Kernel 开发流程、CUTLASS/Triton/torch.compile 工具链 | 内存带宽优化 + 启动开销削减 |
| AI 编译器实战：TVM、MLIR 与 torch.compile 的算子编译优化 | 三段式编译栈（前端图 IR/中端优化/后端代码生成）、IR 逐级降低、图优化（融合/常量折叠/内存规划）、调度原语（分块/向量化/并行化）、AutoTVM/Ansor 自动调优、MLIR 多级 dialect、torch.compile（Dynamo+Inductor+Triton） | 自动生成 Kernel 替代手写 |
| FlashAttention 与高效注意力内核：IO 感知与分块计算 | 标准注意力的 O(N^2) HBM IO 瓶颈、分块计算与 online softmax、反向重算省显存、Flash-2/FlashDecoding/MLA 变体对比、H100/A100 实测数据、手写内核要点 | HBM 访问量降 O(N) |
| GPU 性能剖析：Nsight Systems 与 Nsight Compute 实战 | Nsight Systems 时间线分析（Kernel 间空隙、数据传输、同步等待）与 Nsight Compute Kernel 级计数器（占用率、访存、算力与带宽利用率）、采集命令与关键指标解读、Roofline 与典型瓶颈模式、从剖析到优化的闭环流程 | 瓶颈定位效率 |
三、模型量化与压缩
| 文章 | 核心内容 | 精度-吞吐量权衡 |
|---|---|---|
| 模型量化技术详解：INT8、FP16 与混合精度推理 | 对称/非对称量化、校准（Calibration）流程、PTQ（训练后量化）vs QAT（量化感知训练）、TensorRT 校准器、ONNX Runtime 量化工具 | INT8: ~4x 吞吐, <1% 精度损失 |
| GPTQ / AWQ / W4A16：大语言模型权重量化实战 | GPTQ 逐层量化与 OBQ 算法、AWQ 激活感知权重量化、SmoothQuant 与 W4A16 实现、bitsandbytes 8-bit/4-bit 量化、AutoGPTQ / AutoAWQ 工具链 | LLM 显存压缩 3-4x |
| 模型剪枝与知识蒸馏：从压缩到加速全链路 | 结构化剪枝 vs 非结构化剪枝、知识蒸馏原理（Soft Target / Feature Distillation）、MobileNet / EfficientNet 设计哲学、PaddleSlim / NNI 压缩工具 | 移动端 / 边缘部署 |
| KV Cache 优化与注意力机制加速：FlashAttention / PagedAttention | 标准 Attention 的 IO 瓶颈分析、FlashAttention 分块计算与消尾求和、FlashAttention-2 / FlashAttention-3 改进、PagedAttention 的块化 KV Cache、vLLM 调度机制 | LLM 推理核心优化 |
| 量化感知训练（QAT）与量化微调：伪量化、STE 与 QLoRA | QAT 五步流程、伪量化算子与直通估计器（STE）、蒸馏+量化组合、QLoRA 4-bit 低秩微调、TensorRT QAT 校准 | INT8: <1% 精度损失 |
| FP8 推理：8 位浮点量化、E4M3/E5M2 与 NVIDIA FP8 生态 | FP8 两种格式（E4M3 高精度/ E5M2 宽范围）、vs INT8/FP16 选型、缩放因子粒度（per-channel/per-token）、PTQ 校准与 QAT 上限、NVIDIA Transformer Engine + TensorRT-LLM 生态、FP8 显存/带宽减半收益 | LLM 推理默认精度档 |
| KV Cache 与 PagedAttention：显存复用与长上下文推理 | KV Cache 显存占用测算、块化页式管理与碎片治理、前缀共享与 Copy-on-Write、调度与抢占、长上下文显存策略 | LLM 并发能力提升 |
四、大语言模型推理系统工程
| 文章 | 核心内容 | 架构决策 |
|---|---|---|
| vLLM 深度解析：连续批处理与内存高效推理 | vLLM 核心架构（PagedAttention + Continuous Batching）、调度策略、Prefix Caching / Speculative Decoding、多 GPU 张量并行、与 Triton / SGLang 的对比 | 自托管 LLM 服务首选 |
| LLM 推理服务架构设计：从单机到分布式集群 | 负载均衡与请求路由、 auto-scaling 策略、冷热模型缓存、Token 计费与限流、多轮对话的 Session 亲和性、FP8/H100 新硬件适配 | 企业级 LLM 中台设计 |
| 多模态推理实战：从图像 Token 化到视觉语言模型联合推理 | 图像 Tokenizer（ViT/Patch Embedding/Projector）、视觉+文本联合推理、多模态 KV Cache 与显存优化（图像前缀缓存）、两段式多模态服务部署 | VLM 推理架构设计 |
| 分布式推理与 GPU 集群调度：张量并行、流水并行与调度器实战 | 张量并行/流水线并行/专家并行（TP/PP/EP）、通信原语与拓扑感知、连续批处理与多副本、KServe vs Ray Serve GPU 调度器、推理集群架构与冷启动治理 | GPU 集群调度选型 |
| 推理基准与压测：TTFT、ITL、TPOT 指标与容量规划实战 | TTFT/ITL/TPOT 延迟指标、延迟-吞吐曲线、LLM Perf/Locust 压测工具、P50/P99 分位数 SLO、容量规划与成本建模 | 容量与成本决策 |
| 投机采样：Speculative Decoding 的草拟-验证与工程集成 | 草拟-验证流水线、拒绝采样保分布、草案模型选型、Medusa/EAGLE/Lookahead 方案、工程集成（vLLM/端到端）、收益与局限 | 解码提速 2-3x |
| NCCL 集合通信：AllReduce、Ring 算法与多卡推理通信优化 | 通信原语（AllGather/AllReduce/Reduce-Scatter）、Ring 滚动摊平 O(N)、Tree/NVLS 算法选择、NVLink/PCIe/RDMA 拓扑分层、跨机两阶段 AllReduce 与超节点、计算/通信重叠、NCCL 调参与诊断 | 多卡并行效率 |
| MoE 混合专家推理：路由、负载均衡与显存策略 | 稀疏激活与 Top-K 路由、专家并行（EP）与 All-to-All 通信、负载均衡与容量因子、激活显存与专家缓存、多机推理性能与成本权衡 | 稀疏大模型部署 |
| Prefill/Decode 分离与连续批处理：吞吐与延迟的平衡 | Prefill 与 Decode 的资源特征差异、PD 分离架构与 KV 传输、连续批处理的调度与抢占、chunked prefill、SLO 与混部策略 | 吞吐与延迟双优 |
| LLM 服务可观测性：吞吐、时延、token 与成本监控 | TTFT/ITL/TPOT 指标采集、队列与批大小监控、token 计费与成本归因、Prometheus/Grafana 看板、告警与容量水位 | 生产可运维 |
| 结构化输出与受限解码：从 JSON Schema 到 Token 掩码 | 受限解码原理（每个解码步屏蔽非法 token）、JSON Schema → 有限状态机（FSM）编译、Token Mask 计算、Outlines/XGrammar/GBNF 实现路径对比、性能开销与工程陷阱 | 稳定输出合法 JSON |
| LLM 网关与多模型路由：统一入口、策略分流与故障转移 | 网关职责边界（协议适配/路由/限流/故障转移）、四类路由策略（成本/延迟/能力/语义）、统一 API 设计、配额与成本核算、熔断与灰度、高可用设计 | 多模型统一治理 |
| 向量化与重排模型服务优化：Embedding 与 Reranker 的性能工程 | Embedding（编码器/高吞吐）与 Reranker（交叉编码器/算力密集）的服务特征差异、批处理与量化优化、GPU/CPU 选型、缓存与部署架构、评估指标 | 检索段延迟与吞吐优化 |
| RAG 推理链路优化：把检索、重排与生成串成低延迟流水线 | RAG 四段延迟分解（检索/重排/上下文构造/生成）、各段优化手段、跨段流水线并行、缓存分层（前缀/语义/结果）、端到端评测与 SLO | 端到端延迟压降 |
前沿优化专题
| 文章 | 核心内容 | 架构决策 |
|---|---|---|
| 前缀缓存与语义缓存：KV 复用与重复计算消除 | RadixAttention 前缀树与 KV 复用、跨请求前缀命中率、语义缓存（Embedding 相似度检索）与精确缓存分层、缓存失效与一致性、命中率与成本收益测算 | 重复前缀场景省 50%+ 算力 |
| 长上下文推理：RoPE 扩展、位置插值与 Ring Attention | RoPE 外推瓶颈与 NTK/YaRN 插值、位置编码缩放、Ring Attention 与序列并行、长上下文 KV Cache 显存与稀疏注意力、检索增强 vs 长窗口权衡 | 128K+ 上下文服务 |
| 多 LoRA 推理服务：S-LoRA、适配器切换与批量调度 | LoRA 适配器加载与卸载、S-LoRA 统一分页与批内多适配器、Punica 与 vLLM 多 LoRA 实现、基座共享与显存核算、多租户微调服务治理 | 单基座服务千级微调 |
| GPU 共享与调度：MPS、MIG 与多租户隔离 | 时间片与空间切分对比、NVIDIA MPS 并发与显存隔离、MIG 硬切分与实例规格、K8s Device Plugin 与 GPU 共享调度、干扰与 SLA 保障 | 提升 GPU 利用率 |
| 分布式训练实战：DDP、FSDP 与 ZeRO 显存优化 | DDP 梯度 AllReduce、FSDP 参数分片与 all-gather/reduce-scatter、ZeRO 三阶段与 CPU/NVMe offload、混合精度与梯度累积、吞吐与通信开销权衡 | 大模型训练显存墙突破 |
五、AI 推理系统全栈实践
综合案例
| 场景 | 技术栈组合 | 关键优化 |
|---|---|---|
| Stable Diffusion 图像生成服务 | TensorRT-optimized UNet + Triton + 动态批处理 | UNet 图优化 + CUDA Graph 捕获 |
| 实时语音助手 | ONNX Runtime + 量化 Whisper + 流式推理 | 分块解码 + KV Cache 复用 |
| 推荐系统在线推理 | TensorRT + Triton + Redis Cache | Embedding 预取 + 特征服务分离 |
| GPT 类 LLM 私有化部署 | vLLM + PagedAttention + GPTQ / AWQ 量化 | 连续批处理 + 显存页式管理 |
| 边缘设备 CV 推理 | OpenVINO / ONNX Runtime + INT8 量化 + 模型剪枝 | NPU 插件调用 + 内存池复用 |
端侧与边缘部署
| 文章 | 核心内容 | 硬件基础 |
|---|---|---|
| 边缘端推理部署：TFLite、ONNX Mobile 与 NPU 异构加速实践 | TFLite / ONNX Runtime Mobile / ExecuTorch / OpenVINO 移动框架对比、Qualcomm Hexagon / Apple Neural Engine 异构调度与算子回退、端侧 INT8/QAT 量化、目标检测/端侧 LLM/语音助手案例 | 手机 SoC / NPU / 边缘盒子 |
Serverless 与性能优化
| 文章 | 核心内容 | 关键收益 |
|---|---|---|
| Serverless 推理：无服务器 LLM 推理、冷启动优化与 GPU 弹性 | 冷/热实例分层、冷启动瓶颈（模型加载>容器拉起>引擎）、权重本地缓存/实例池/预热分级、GPU 池化与水位线调度、按并发/排队扩缩容、与常驻推理选型、按量计费成本账 | 低利用率场景省 60%+ 成本 |
| LLM 推理性能调优实战：从瓶颈定位到端到端优化的检查清单 | 目标设定（吞吐/延迟/成本）、基线指标表、逐层定位（显存/计算带宽/调度）、软件优化（continuous batching/前缀缓存）、硬核优化（FlashAttention/融合/FP8）、最后一公里（引擎/CUDA Graph/卡型）、A/B 闭环验证 | 系统化性能收敛 |
| AI 推理安全：内容安全、提示注入与模型防护 | 输入输出内容安全与合规过滤、提示注入与越狱防护、模型权重与推理服务加固、租户隔离与审计、防护层级与性能开销 | 生产安全基线 |
| 推理服务弹性伸缩与冷启动优化：从 HPA 到缩容到零 | 伸缩指标选择（队列深度/KV cache/GPU 利用率）、HPA 与 KEDA 实践、冷启动瓶颈与优化、缩容到零与预热池设计、多级伸缩架构 | GPU 成本与弹性兼顾 |
推荐学习路径
路线 A：GPU 编程入门与 CUDA 基础（有 C++ 基础，0-1 年）
- CUDA 编程入门 — 理解 GPU 线程模型
- CUDA 内存管理与性能优化 — 学会用 Nsight 做性能分析
- cuBLAS / cuDNN / cuFFT — 掌握 NVIDIA 官方加速库
- 模型量化技术详解 — INT8/FP16 推理入门
- ONNX Runtime 跨平台推理优化 — 第一个端到端部署实践
路线 B：推理引擎与系统优化（1-3 年）
- TensorRT 深度实践 — NVIDIA 生态核心引擎
- 模型剪枝与知识蒸馏 — 系统性压缩方法论
- KV Cache 优化与注意力机制加速 — LLM 推理必备
- NVIDIA Triton Inference Server 生产部署 — 生产级推理服务
- 推理引擎终极对比 — 建立选型能力
路线 C：LLM 推理系统专家（3 年+）
- GPTQ / AWQ / W4A16 大模型权重量化 — 降低部署成本
- TensorRT-LLM 高效推理部署 — NVIDIA LLM 方案
- vLLM 深度解析 — 开源 LLM 推理标杆
- LLM 推理服务架构设计 — 分布式系统设计
路线 D：跨平台与异构部署（特定场景）
- OpenCL 与跨平台 GPU 编程 — 边缘/移动端
- HIP / ROCm AMD GPU 替代路径 — 国产化/成本优化
- OpenVINO 与 Intel 推理加速 — CPU-centric 场景
相关专题推荐
- C++ 系统编程：https://plumephp.com/posts/cpp/ — CUDA C++、TensorRT Plugin 开发、内存对齐与缓存优化
- 操作系统：https://plumephp.com/posts/os/ — GPU 显存管理的 OS 视角、DMA 传输、驱动与中断机制
- 计算机图形学：https://plumephp.com/posts/graphics/ — GPU 架构（SIMT/Warp）、着色器编程、CUDA 与 Compute Shader 的异同
- 高性能计算 HPC：https://plumephp.com/posts/hpc/ — MPI + CUDA 异构并行、集群调度（Slurm）与多节点训练扩展
- AI / ML 算法：https://plumephp.com/posts/ai-ml/ — 模型训练原理、PyTorch/TensorFlow 使用、模型结构设计
- LLM 应用开发：https://plumephp.com/posts/llm/ — 模型 API 调用、RAG、Agent 应用层设计
- DevOps：https://plumephp.com/posts/devops/ — 推理服务的 CI/CD、模型版本管理、A/B 测试与灰度发布
- C++ 内存模型深度解析：从栈堆到对象生命周期 — AI 推理引擎中内存布局与生命周期管理的 C++ 基础
- C++ 并发设计模式：线程池、Future 与异步编程 — 构建高并发推理服务的 C++ 并发模型
- C++ 工程实践：代码规范、测试与包管理 — AI 推理工程化中的 C++ 项目规范与测试体系
- 虚拟内存与分页机制：从 MMU 到 TLB — 理解 GPU 显存页式管理与 OS 虚拟内存的共通原理
- 现代高性能 IO：
epoll、io_uring与异步 IO — AI 推理服务的高吞吐网络 IO 底层支撑
持续更新计划
✅ 已落地：
- 投机采样（Speculative Decoding）：草拟-验证流水线与 Medusa/EAGLE 方案
- AI 编译器：TVM / MLIR / torch.compile 的推理编译优化
- FP8 推理：E4M3/E5M2 格式与 NVIDIA Transformer Engine 生态
- Serverless 推理：冷启动优化与 GPU 弹性调度
- 性能调优：从瓶颈定位到端到端优化的检查清单
- NCCL 集合通信：多卡推理的通信优化
- FlashAttention 内核：IO 感知分块与 online softmax
- KV Cache 与 PagedAttention：块化显存复用与长上下文推理
- MoE 稀疏专家推理：路由、专家并行与显存策略
- Prefill/Decode 分离：连续批处理与 PD 分离架构
- LLM 服务可观测性：TTFT/ITL/TPOT 指标与成本监控
- 推理安全防护：内容安全、提示注入与模型加固
- 前缀缓存与语义缓存：RadixAttention KV 复用与重复计算消除
- 长上下文推理：RoPE 扩展、位置插值与 Ring Attention
- 多 LoRA 服务：S-LoRA 适配器切换与批量调度
- GPU 共享与调度：MPS / MIG 与多租户隔离
- 分布式训练：DDP / FSDP / ZeRO 显存优化
- 异构硬件适配：ROCm、Intel 与国产 NPU 推理路径
🔄 进行中：
- 端侧推理：Qualcomm NPU / Apple Neural Engine / 华为昇腾 CANN 的推理实践
最后的话：AI 推理工程是连接"算法"与"产品"的桥梁。训练出好的模型只完成了一半，让模型以最低成本、最高性能、最高可用性地服务用户——才是真正的工程挑战。本专题希望为你的推理系统设计提供从芯片到服务的完整知识支撑。