tag

Genai

共 2 篇文章。
全部文章GoGolangGodotTutorialRustSaaSRust TutorsLuaPrd游戏客户端Long Term Novel Writing ExperienceSpore Trilogy Creative Writing Notes孢子三部曲孢子三部曲创作手记回顾
Observability

生成式 AI 可观测性:LLM 调用追踪、Token 成本监控、质量与安全评估

传统应用的可观测性(Metrics/Logs/Traces)在 LLM 应用面前依然成立,但要新增三个 LLM 特有的观测维度:Token 与成本(每次调用消耗多少、花了多少钱)、模型质量(回答对不对、是否幻觉、是否符合预期)、模型安全(提示注入、有害内容、PII 泄露)。大模型是"黑盒 …

8 分钟阅读
genai llm observability
infra

专题四:云原生可观测性

从可观测性三大支柱(Metrics/Logs/Traces)出发,深度覆盖 Prometheus、Grafana、OpenTelemetry、Jaeger/Tempo、Loki、EFK 等主流云原生可观测性栈,延伸至 OTel Collector 深度调优、Prometheus 长期存储集群化(Thanos/Mimir)、Grafana Alerting 统一告警、Loki 标签基数与查询性能优化、服务网格可观测性(Istio/Kiali)、生成式 AI 可观测性(LLM 追踪/成本/质量/安全)、eBPF、SLO 工程、K8s 可观测性、APM 及数据存储选型。附带实战配置与架构设计。

5 分钟阅读
observability prometheus grafana