Grafana Labs 提出利用 SLO 与错误预算管控 AI 智能体幻觉

InfoQ 中文 IT 资讯于 2026 年 11 月 1 日报道，Grafana Labs 提出将可靠性工程中的服务级别目标（SLO）和错误预算概念应用于 AI 智能体，通过多维度的行为评估来衡量智能体表现，并以此指导工程决策。原文链接 www.sosit.com.cn

核心方法与实施步骤

Grafana 的方法旨在解决传统应用可观测性的局限，即传统指标无法反映智能体答案的正确性或有用性。其核心流程包括：

技王数据恢复

• 行为评估：检查智能体交互是否满足特定行为标准，如响应是否基于上下文、是否完成用户请求、是否包含有毒内容、是否泄露隐私或受提示词注入影响。评估可使用另一个语言模型（LLM）作为裁判，或使用正则表达式等确定性检查。
• 多维指标设定：将质量视为多维指标（如依据性、成本、安全性、速度），而非单一分数，以便针对特定应用关注点分别设定目标。
• SLO 与错误预算：设定 SLO（例如 30 天内 95% 的对话被判定为完成用户请求），剩余部分（5%）即为错误预算。当预算充足时，团队可尝试调整提示词或模型；随着预算耗尽，工作重点转向提高质量而非引入变更。

监控价值与行业现状

该方法通过监控错误预算的消耗，可发现智能体行为的渐进式漂移（如质量每天下降零点几个百分点），这是传统基础设施监控难以捕捉的。目前业界对“可接受行为”的阈值（如任务完成度应达到 85%、95% 还是 99%）尚未形成共识，Grafana 建议先通过评估建立基线，再利用历史结果推荐目标值。 www.sosit.com.cn

其他组织也在从不同方向解决类似问题：Anthropic 制定了正式评估实践，区分 pass@k（多次尝试至少成功一次）与 pass^k（所有尝试始终成功）；OpenTelemetry 正在为智能体遥测制定标准化语义约定，以提供跨框架、跨供应商的一致评估基础。

技王数据恢复

局限性与注意事项

Grafana 指出，SLO 的有效性完全取决于底层测量。如果充当裁判的 LLM 持续错误分类响应，或评估设计不当，可能产生虚假的精确感。组织仍需具备代表性评估数据集、清晰定义可接受行为、采用确定性检查、进行人工审查并持续验证评估器本身。 技王数据恢复

技术审核：邓严军｜技王数据恢复实验室技术总监

www.sosit.com.cn