tag

成本治理

共 3 篇文章。
全部文章GoTypeScript游戏开发小游戏游戏设计Godot书稿RustPython性能优化游戏引擎PRDSaaS游戏服务端
agent

《AI Agent 高级编程》10.2 成本与延迟治理:路由/缓存/并发 + 评测兜底

路由、缓存、并发上限、降级——成本与延迟治理的四个旋钮,任何一个拧过头都会伤质量。本节用本地假模型真跑一条完整治理链:语义缓存命中即跳过、预算耗尽自动降级到小模型、Semaphore 把在飞请求压到上限内,再用评测集证明「降级后分数会掉」,并如实说明假模型为何量不出真实成本与延迟。

9 分钟阅读
AI Agent AI Agent 高级编程 成本治理