投机解码

LLM 推理优化全栈指南：从 KV Cache 到投机解码

大模型部署的成本与延迟由推理优化决定，本文系统讲解自回归生成的内存瓶颈、KV Cache 原理与显存计算公式、PagedAttention 与连续批处理、GPTQ/AWQ/INT8 权重量化、投机解码与并行生成、前缀缓存与 Prompt 优化、TTFT/TPOT/ITL 指标，以及 vLLM/TensorRT-LLM/llama.cpp 框架选型与生产容量规划的完整方法论。