模型评估与 LLMOps:从离线评测到生产监控的闭环体系
LLM 应用上线后的最大风险不是"跑不起来",而是"悄悄变差"——模型升级、Prompt 改动、知识库更新都可能引入质量回归,而概率性输出让这种退化难以用传统测试发现。LLMOps 的核心是建立评估(Evaluation)与监控(Monitoring)的闭环: …
tag
LLM 应用上线后的最大风险不是"跑不起来",而是"悄悄变差"——模型升级、Prompt 改动、知识库更新都可能引入质量回归,而概率性输出让这种退化难以用传统测试发现。LLMOps 的核心是建立评估(Evaluation)与监控(Monitoring)的闭环: …
传统的测试方法论建立在确定性之上:同样的输入必然得到同样的输出,断言 assert x == y 是质量的黄金标准。但以 LLM 为代表的生成式 AI 模型打破了这一前提——同样的 prompt 每次调用可能返回不同的、且没有唯一正确答案的文本。assert response == …