https://plumephp.com/tags/%E6%8E%A8%E7%90%86%E7%B3%BB%E7%BB%9F/Recent content in 推理系统 on PlumePHPHugozh-CNThu, 10 Sep 2026 10:00:00 +0800https://plumephp.com/ai-vllm-system/Thu, 10 Sep 2026 10:00:00 +0800https://plumephp.com/ai-vllm-system/<p>大语言模型（LLM）推理服务的扩展性瓶颈，往往不在计算吞吐量，而在 GPU 显存。传统推理框架将 KV Cache 以连续张量形式预分配，造成大量内存浪费，导致 batch size 被严重限制。vLLM 通过引入操作系统虚拟内存机制启发的 PagedAttention，将显存利用效率推向新高度，成为当前开源 LLM 推理引擎的事实标准之一。</p>