tag

Llmops

共 3 篇文章。

LLM 应用上线后的最大风险不是"跑不起来"，而是"悄悄变差"——模型升级、Prompt 改动、知识库更新都可能引入质量回归，而概率性输出让这种退化难以用传统测试发现。LLMOps 的核心是建立评估（Evaluation）与监控（Monitoring）的闭环： …

随着模型上下文窗口从 4K 一路扩张到 200K、甚至 1M，一个反直觉的结论浮现：更大的窗口不等于更好的回答。研究与实践反复证明，Long Context 存在"迷失在中间（Lost in the Middle）“效应——模型对输入中间部分关注不足，且海量无关上下文会稀释关键 …

LLM API 调用既慢又贵：单次调用延迟数百毫秒、成本随 token 线性增长，高频请求的重复计算纯粹是浪费。语义缓存与模型路由是控制 LLM 成本与延迟的两大杠杆——前者让"相似的问题"复用答案，后者让"简单的问题"用便宜模型。但二者都面临同一个陷阱：省钱 …