AI 推理加速与系统专题:从 CUDA 到生产级推理引擎
AI 推理系统完整专题:CUDA GPU 并行编程、cuBLAS/cuDNN 加速库、算子融合与 CUDA Graph、TensorRT 推理优化、ONNX Runtime 跨平台部署、vLLM 高吞吐服务、模型量化与压缩(INT8/FP16/GPTQ/QAT/FP8)、投机采样(Speculative Decoding)、AI 编译器(TVM/MLIR/torch.compile)、Serverless 推理平台、性能调优检查清单、NCCL 集合通信与多卡推理、分布式推理与 GPU 集群调度、推理基准与压测、FlashAttention 与注意力内核、KV Cache 与 PagedAttention、MoE 稀疏专家推理、Prefill/Decode 分离与连续批处理、LLM 服务可观测性、推理安全防护、多模态推理与边缘端推理部署,覆盖从 GPU 编程到推理工程化全栈实践。并补齐 GPU 性能剖析(Nsight)、结构化输出与受限解码、LLM 网关与多模型路由、向量化与重排服务、推理弹性伸缩与冷启动、RAG 推理链路优化等进阶议题。