tag

故障转移

共 3 篇文章。
全部文章GoTypeScript游戏开发小游戏游戏设计Godot书稿RustPython性能优化游戏引擎PRDSaaS游戏服务端
LLMOps

模型网关与多模型路由

当业务从调用单一模型演进到同时使用十余个模型时,散落在各服务里的 API Key、限流与重试逻辑会迅速失控。本文以 LiteLLM Proxy 为核心给出模型网关落地方案:统一 OpenAI 兼容接口、密钥托管、限流配额与审计,详解成本优先、延迟优先、质量优先、加权路由与 fallback 熔断五类策略,并给出语义路由与 token 预算的可运行代码,最后量化路由带来的成本与延迟收益并总结常见坑。

11 分钟阅读
模型路由 故障转移 成本优化