推理服务弹性伸缩与冷启动优化：从 HPA 到缩容到零
推理服务的扩缩容比普通 Web 服务难得多：GPU 昂贵、模型加载慢、并发数比 QPS 更能反映压力。用 CPU 利用率做 HPA 指标，往往扩不起来或扩过头。本文讲清推理扩缩容的指标选择（队列深度/KV cache/GPU 利用率）、KEDA 与 HPA 实践、冷启动瓶颈与优化、缩容到零与预热池设计，以及多级伸缩架构。
tag
冷启动
共 6 篇文章。
Serverless 架构实践
Serverless 架构实践：FaaS 与 BaaS 模型、冷启动优化、弹性伸缩、函数编排、适用边界与成本模型、生产落地
Serverless 推理：无服务器 LLM 推理、冷启动优化与 GPU 弹性
Serverless 推理把「模型部署」变成「按调用计费的 API」：无 GPU 预置、按需拉起、闲置自动回收。本文系统讲解 Serverless 推理的架构、冷启动的瓶颈与优化（模型缓存/容器预热/两阶段拉起）、GPU 弹性的调度（实例池/水位线/碎片整理）、与常驻推理的选型，以及生产落地的成本账与稳定性。
Serverless 冷启动优化：成因拆解、运行时选型、函数合并与预启动策略
系统拆解 Serverless 冷启动的成因与度量方法，对比 Node/Edge/Bun 运行时启动性能，讲解函数合并与分层、预留并发/Keepalive 预启动、渐进式加载与代码体积优化，给出 Cloudflare/Vercel/AWS Lambda 三平台的冷启动对比矩阵与优化清单。
设计推荐系统
本文深度设计推荐系统：覆盖召回（协同过滤/向量召回）、粗排与精排、特征工程与特征服务、模型训练与在线推理、近实时特征更新、冷启动问题，以及 AB 实验与离线在线评估，给出完整数据流、特征模型伪代码与量级估算。
个人游戏开发者失败案例：没人在线的多人竞技游戏
一个关于个人开发者制作多人竞技游戏失败的案例：网络同步做出来了，房间系统也能跑，但冷启动、匹配等待、服务器成本和玩家密度最终让游戏无法成立。