《AI Agent 技术原理与架构·模型、推理与能力边界》10.1 视觉/语音输入的感知误差

Agent 看到的往往不是干净的文本:截图、扫描件、语音、表格混在一起。多模态感知的难点不只是识别,而是知道每个模态何时不可靠、置信度能否互相比较、冲突时该信谁。本节用单模态误差与融合决策实验,演示一致采纳、置信度比较和冲突升级这三种策略。

以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。

Agent 的输入很少是纯文本。一个运维助手可能同时收到监控截图、告警语音和日志附件;一个客服 Agent 可能读到扫描的发票、用户上传的照片和一段电话录音。多模态能力让 Agent 能“看见”和“听见”,但也把感知错误带进了决策链。

感知错误和推理错误不同:推理错了还能通过检查步骤发现,感知错了往往连“看错了”都不知道。模型可能把“删除”读成“归档”,把 0 读成 O,把表格的某一列错位。后面的推理再正确,也是建立在错误事实上。

这一节讨论多模态感知的三个工程问题:每个模态的误差从哪来、不同模态的置信度能不能直接比较、冲突时应该信谁。

模态各自的失败模式

模态典型输入常见错误
图像截图、照片、图表小字识别错、相似图标混淆、遮挡
音频语音、电话、会议口音、噪声、同音词、说话人分离
文档PDF、扫描件、表格版面错位、跨页断裂、手写体
视频操作录屏、监控帧间遗漏、动作边界模糊

这些错误的共同点是“局部可信、整体可能错”。模型对每个区域或片段给出高置信度,但把局部拼成整体时可能错位。表格尤其明显:每个单元格都识别对了,行列对应错了,整张表就错了。

文档还多一层结构问题。PDF 的阅读顺序不等于视觉顺序,双栏排版、页眉页脚、脚注都会干扰抽取。扫描件再加一层 OCR 误差,数字和字母的混淆(0/O、1/l、5/S)非常常见。

置信度不能直接跨模态比较

视觉模型说 0.92,音频模型说 0.75,不代表视觉更可信。两个模态的置信度来自不同的训练目标、不同的数据分布和不同的校准程度,数值之间没有天然可比性。

直接比较会系统性地偏向“更自信”的模态,而不是“更准确”的模态。正确的做法是:

  1. 按模态分别校准置信度;
  2. 用验证集估计每个模态在不同任务上的错误率;
  3. 融合时使用校准后的分数,或直接使用历史准确率作为权重。

如果做不到校准,至少不要用原始分数做跨模态仲裁;改用“一致/不一致”这种粗粒度信号,冲突时升级。

最小实验:误差、融合与升级

下面的实验有两条视觉观察和两条音频观察。先分别统计单模态错误率,再演示融合规则:标签一致时直接采纳;不一致且置信度接近时升级;差距足够大时选置信度更高的一方。

# file: agp_lab/perception.py | write
# tier: 3
# verify: python3 -m unittest tests.test_perception
"""多模态感知:单模态误差、融合决策与升级条件。"""
from __future__ import annotations

from dataclasses import dataclass


@dataclass(frozen=True)
class Observation:
    modality: str
    label: str
    confidence: float
    correct: bool


DEMO = (
    Observation("vision", "save", 0.92, True),
    Observation("audio", "save", 0.61, True),
    Observation("vision", "delete", 0.70, False),
    Observation("audio", "archive", 0.75, True),
)


def error_rate(observations: tuple[Observation, ...], modality: str | None = None) -> float:
    selected = [item for item in observations
                if modality is None or item.modality == modality]
    if not selected:
        return 0.0
    return sum(1 for item in selected if not item.correct) / len(selected)


def fuse(vision: Observation, audio: Observation,
         disagreement_gap: float = 0.1) -> str:
    """一致时直接采纳;不一致且置信度接近时升级人工。"""
    if vision.label == audio.label:
        return vision.label
    gap = abs(vision.confidence - audio.confidence)
    if gap < disagreement_gap:
        return "escalate"
    return vision.label if vision.confidence > audio.confidence else audio.label


def escalation_rate(pairs: list[tuple[Observation, Observation]],
                    disagreement_gap: float = 0.1) -> float:
    if not pairs:
        return 0.0
    return sum(1 for vision, audio in pairs
               if fuse(vision, audio, disagreement_gap) == "escalate") / len(pairs)


if __name__ == "__main__":
    print("vision_error:", f"{error_rate(DEMO, 'vision'):.1%}")
    print("audio_error:", f"{error_rate(DEMO, 'audio'):.1%}")
    print("fused:", fuse(DEMO[0], DEMO[1]))
    print("conflict:", fuse(DEMO[2], DEMO[3]))
    print("escalation_rate:", f"{escalation_rate([(DEMO[2], DEMO[3])]):.1%}")

运行:

cd private/labs/agp-lab
python3 -m agp_lab.perception

输出:

vision_error: 50.0%
audio_error: 0.0%
fused: save
conflict: escalate
escalation_rate: 100.0%

视觉有两条观察,其中一条错误,错误率 50%;音频两条都正确,错误率 0%。样本很小,这两个数字不能外推,但它们说明了第一个工程事实:不同模态的可靠性可能差很多,不能假设它们等价。

fused: save 是因为视觉和音频都识别为 save,一致时直接采纳,不需要比较置信度。conflict: escalate 是因为视觉说 delete(置信度 0.70),音频说 archive(0.75),差距 0.05 小于阈值 0.1,规则选择升级人工,而不是让分数更高的一方获胜。

escalation_rate: 100.0% 表示唯一一对冲突观察被升级了。升级不是失败,而是把“模态之间无法裁决”的情况交给有更多上下文的人或更昂贵的检查。

融合的三种策略

策略规则适用风险
一致采纳标签相同才采纳高精度、低覆盖冲突多时升级率高
加权投票按历史准确率加权模态可靠度已知权重会随分布漂移
置信度仲裁选校准后分数高者分数已校准未校准时偏向过度自信
冲突升级不一致就转人工高风险动作成本高、延迟大

策略选择取决于动作风险。读页面、生成摘要可以用一致采纳;填表、点击可以用加权投票;删除文件、转账必须冲突升级。把同一个融合策略用在不同风险的动作上,是要么过度打扰,要么放过危险错误。

感知与行动的边界

多模态感知的下游通常是行动:点击坐标、填写字段、执行命令。感知错误会直接变成动作错误,所以要在感知和行动之间加一道检查:

  • 动作前回读:点击前确认目标元素的文本或位置;
  • 动作后验证:执行后检查页面状态或返回值;
  • 不可逆动作双重确认:删除、支付、发送需要额外证据。

这道检查不能依赖同一个感知通道。如果视觉读错了按钮,再用视觉确认一次,很可能得到同样的错误。跨通道验证(视觉 + DOM、语音 + 文本)才有独立价值。

跨通道验证的成本也需要算进来。每增加一个通道,就多一次调用、多一份延迟;对低风险动作,这个成本可能不值得。合理的做法是按风险分级:读页面用单通道,填表用回读,删除和支付才上跨通道验证。

文档与表格的特殊处理

文档 Agent 的可靠性很大程度取决于预处理,而不是模型本身:

问题处理
扫描件模糊提高分辨率、去噪、二值化
双栏错位版面分析后再按栏抽取
表格跨页按表头对齐、合并续表
手写体单独模型或人工复核
数字混淆关键字段用规则校验

数字字段值得单独说。金额、日期、账号这类字段一旦识别错,后果远大于普通文本错误。对它们应该做格式校验(长度、校验位、范围)和跨字段一致性检查,而不是只依赖模型置信度。

文档处理还有一个顺序问题:先做版面分析,再做文字识别,最后做字段抽取。顺序反了,模型会在一堆错位的文本上做抽取,错误被层层放大。对扫描件,宁可在预处理上多花几百毫秒,也不要让下游在错位文本上反复猜测。

架构含义

多模态感知对架构有四个直接约束:

  1. 按模态统计误差。 不要只报整体准确率;每个模态的失败模式不同。
  2. 置信度分别校准。 跨模态比较前先校准,否则会偏向过度自信的通道。
  3. 冲突有明确策略。 一致采纳、加权、仲裁或升级,按动作风险选择。
  4. 感知与行动之间有检查。 回读、后验和跨通道验证,不能只靠同一通道自证。

第 4 条是 Agent 区别于纯识别系统的关键。识别系统错了只影响输出;Agent 错了会改变外部状态。感知层必须为行动层提供可验证的证据,而不只是一个标签。

架构判据

判据合格的样子不合格的样子
模态误差可见分模态统计只报总体准确率
置信度可比较已校准或按历史加权直接比原始分数
冲突有策略按风险选择融合方式永远选高分
动作有检查回读、后验、跨通道感知后直接执行
关键字段有校验格式、范围、一致性只信模型输出

这些判据里,“动作有检查”是最容易被跳过的一条。演示时感知看起来很好,团队就直接把标签接到动作上;上线后遇到模糊截图或嘈杂语音,错误直接变成误操作。

一个语音加截图的运维例子

用户发来一张监控截图,同时用语音说“把这个服务重启一下”。Agent 需要:

  1. 从截图识别服务名和当前状态;
  2. 从语音识别动作和目标;
  3. 检查两者是否指向同一个服务;
  4. 重启前确认服务名,重启后检查健康状态。

如果语音说“重启订单服务”,截图高亮的是“支付服务”,两者冲突,应该升级而不是猜一个。如果两者一致,仍然要在重启前回读服务名,因为截图可能截的是旧页面。

这个例子说明,多模态不是“多给模型一点输入”,而是多了一条需要对齐的证据链。对齐失败时,升级比仲裁更安全。

如何评测多模态感知

评测要覆盖三类样本:

样本目的
清晰、单模态基线能力
模糊、遮挡、噪声鲁棒性
模态冲突融合策略

第三类最容易被忽略。只测清晰样本,融合规则永远不会触发,也就无法发现“冲突时总是选高分”这种危险默认。冲突样本应该人工构造,并标注期望行为(采纳、仲裁还是升级)。

评测还应该记录“升级后人工的判断”,用它反过来校准阈值:如果升级的样本大多数人工也判不了,说明阈值太保守;如果升级的样本人工一眼就能判对,说明模态校准或融合规则还有改进空间。

小结

  • 多模态感知的难点不只是识别,而是知道每个模态何时不可靠。
  • 不同模态的置信度不能直接比较;要先校准或按历史准确率加权。
  • 融合策略有一致采纳、加权投票、置信度仲裁和冲突升级,应按动作风险选择。
  • 感知与行动之间要有回读、后验和跨通道验证,不能同通道自证。
  • 文档和表格的可靠性很大程度取决于预处理与字段校验。
  • 评测必须包含模糊样本和模态冲突样本,否则融合规则不会被检验。

阅读导航:上一节:9.3 上下文预算分配:什么该放前面 · 下一节:10.2 Grounding:把语言落到可执行动作 。

常见错误与边界

  1. 直接比较跨模态置信度。 未校准的分数不可比,会系统性偏向过度自信的通道。
  2. 只用清晰样本评测。 模糊、遮挡和冲突样本才是融合策略的真正考场。
  3. 感知后直接执行。 没有回读和后验,识别错误会直接变成误操作。
  4. 同通道自证。 用视觉确认视觉错误,往往得到同样的错误;要跨通道验证。
  5. 忽略表格结构。 单元格识别对但行列错位,整张表仍然不可用。
  6. 把升级当失败。 冲突时升级是安全出口,不是系统缺陷。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图