推理平台 on PlumePHPhttps://plumephp.com/tags/%E6%8E%A8%E7%90%86%E5%B9%B3%E5%8F%B0/Recent content in 推理平台 on PlumePHPHugozh-CNMon, 28 Sep 2026 13:00:00 +0800Serverless 推理：无服务器 LLM 推理、冷启动优化与 GPU 弹性https://plumephp.com/ai-serverless-inference/Mon, 28 Sep 2026 13:00:00 +0800https://plumephp.com/ai-serverless-inference/<p>传统推理服务要「预置 GPU」——不管有没有流量，卡钱都在烧。Serverless 推理换个思路：<strong>没有调用就不跑，有调用就拉起，用完回收</strong>，GPU 成本按「实际使用」计费。但「按需拉起」带来一个新敌人：<strong>冷启动</strong>。几十 GB 的模型，从「没有实例」到「能回答第一个问题」，可能要好几分钟。本文把 Serverless 推理讲透：架构怎么搭、冷启动怎么砍、GPU 弹性怎么调度、什么时候该用（什么时候别用）。</p>