vLLM 深度解析：连续批处理与内存高效推理
大语言模型（LLM）推理服务的扩展性瓶颈，往往不在计算吞吐量，而在 GPU 显存。传统推理框架将 KV Cache 以连续张量形式预分配，造成大量内存浪费，导致 batch size 被严重限制。
tag
自托管
共 2 篇文章。
开源自托管短链方案：Shlink、YOURLS、Polr、Supabase 四方案选型指南
Shlink、YOURLS、Polr、Supabase+自研四种自托管短链方案横向对比，含Docker一键部署、数据迁移、成本分析。