生成式 AI 可观测性:LLM 调用追踪、Token 成本监控、质量与安全评估
传统应用的可观测性(Metrics/Logs/Traces)在 LLM 应用面前依然成立,但要新增三个 LLM 特有的观测维度:Token 与成本(每次调用消耗多少、花了多少钱)、模型质量(回答对不对、是否幻觉、是否符合预期)、模型安全(提示注入、有害内容、PII 泄露)。大模型是"黑盒 …
tag
传统应用的可观测性(Metrics/Logs/Traces)在 LLM 应用面前依然成立,但要新增三个 LLM 特有的观测维度:Token 与成本(每次调用消耗多少、花了多少钱)、模型质量(回答对不对、是否幻觉、是否符合预期)、模型安全(提示注入、有害内容、PII 泄露)。大模型是"黑盒 …