tag

Token-Cost

共 1 篇文章。
全部文章GoGolangGodotTutorialRustSaaSRust TutorsLuaPrd游戏客户端Long Term Novel Writing ExperienceSpore Trilogy Creative Writing Notes孢子三部曲孢子三部曲创作手记回顾
Observability

生成式 AI 可观测性:LLM 调用追踪、Token 成本监控、质量与安全评估

传统应用的可观测性(Metrics/Logs/Traces)在 LLM 应用面前依然成立,但要新增三个 LLM 特有的观测维度:Token 与成本(每次调用消耗多少、花了多少钱)、模型质量(回答对不对、是否幻觉、是否符合预期)、模型安全(提示注入、有害内容、PII 泄露)。大模型是"黑盒 …

8 分钟阅读
genai llm observability