上海交大等开源 EvaOmni：1，027 问答检验视听证据

上海交通大学、复旦大学、腾讯优图实验室等机构的研究者开源 EvaOmni，面向全模态大语言模型（Omni LLM），同时评测答案正确性与视听证据定位。基准包含 392 段视频、1,027 道人工标注问答，覆盖 15 种细粒度能力。模型需要在选择答案的同时，分别返回支持答案的音频和视频时间区间。对 24 个 Omni LLM 的评测显示，Gemini3.7-Flash 的答案准确率达到 79.4%，双模态精确定位得分 B.G. 为 35.1%，与人类专家的 94.3% 相差 59.2 个百分点。
开源地址：

• ModelScope 数据集：

  https://modelscope.cn/datasets/VisionXLab/EvaOmni-Dataset

• GitHub：

  https://github.com/VisionXLab/EvaOmni

• 项目主页：

  https://xiaoxing2001.github.io/EvaOmni.github.io/

• 论文：

  https://modelscope.cn/papers/2610.28444v2

Omni LLM 能联合处理文本、音频、图像和视频。视频中的视听推理要求模型找到相关声音与画面，再把不同时间点的线索联系起来，例如识别说话人、理解人物意图或判断事件原因。
传统多项选择题主要按答案正确率计分，证据充分的回答和猜中的选项得到相同分数。题目与选项还可能包含文本常识或单模态线索，使模型仅看文字、仅听音频或仅看画面就能选对答案。

每种输入条件使用两个模型各测试 2 次；左图统计四组结果中均答对的题目比例，右图展示三类捷径

EvaOmni 为每道题标注支持答案的音频与视频证据区间。模型输出选项、音频时间戳和视频时间戳后，评测程序分别检查答案和区间匹配情况。这样，同一个正确答案也能根据证据覆盖和定位精度得到不同评分。

示例将一段对话与三个视觉片段联系起来，证据分布在视频的不同时间点

在这个人物对话案例中，判断提问原因需要先定位老妇人的发言，再回看年轻人此前读书的动作，最后结合后续书本变化的画面。答案之外的时间区间，让评测能够检查模型找到了哪些支持线索，以及定位是否准确。

视频覆盖影视、新闻纪录片、日常生活、科技、体育和自然等场景，时长为 1—12 分钟。数据集按推理与证据复杂度划分为三个层级：

• Level 1：检索与定位。 包含时间、事件与实体对齐，例如把一句话关联到画面中的说话人，或把声音关联到可见的发声对象。

• Level 2：基础理解。 融合互补的视听线索，理解事件、场景、情绪、意图及其关系。

• Level 3：复杂推理。覆盖长程推理、多证据链和多跳推理，要求整合分散在不同时间点的证据，完成多步判断。

能力层级、视频类型与证据分布统计。Level 3 的证据数量和覆盖时长明显增加

视频筛选、人工标注、交叉审核、捷径过滤。 研究者先筛选包含有效声音与画面线索的视频，排除硬编码字幕或显著文字覆盖；随后由专家编写题目、设计基于视频的干扰选项，并标注两种模态的证据区间。样本经人工交叉审核，检查能力归属、证据质量和捷径问题；存在争议时交由两名额外专家独立复核。最后，模型在文本、音频和视觉单模态输入下进行筛查，命中的题目返修并重新评估。

四阶段数据构建流程，存在争议或捷径问题的样本进入返修

EvaOmni 报告答案准确率 Acc.、证据覆盖分 C.G. 和瓶颈证据分 B.G.。设答案分数为  ，选项正确时为 1，错误时为 0；两个证据分均乘以  ，因此答错时记零分。
C.G.：检查证据命中了多少。 Coverage Grounded Score 统计人工标注证据段中，被预测区间命中的比例。每段标注证据与任一预测区间存在正时长重叠就算命中，每段最多计一次。设音频与视频命中率分别为  、 ，则：

C.G. 衡量证据覆盖，宽泛的预测区间也能获得命中分；区间边界的精确程度由 B.G. 进一步衡量。
B.G.：用定位较弱的模态决定得分。 Bottleneck Grounded Score 先在每种模态内，分别对全部预测区间和全部标注区间取并集，再按重叠时长与并集时长计算时序交并比 IoU：

例如，答案正确、音频 IoU 为 0.8、视频 IoU 为 0.2 时，B.G. 为 0.2。要获得高分，模型必须同时准确定位两种模态，单侧定位优势无法补足另一侧的短板。

实验包含 7 个开放权重模型和 17 个专有模型。24 个模型使用相同提示词与预处理后的视听内容，在全部 1,027 道问答上评测；视频按 1 FPS 均匀采样，帧长边缩放至 480 像素并保持宽高比。下图展示全部模型的分层成绩，以及五个代表模型的总体排名，分数均以百分数呈现。

上表为各能力层级与总体成绩，下方为五个代表模型的三项指标排名。人类参考由独立于标注者的测试者完成，可暂停和重播视频

Gemini3.7-Flash 总体领先，但精确定位仍是主要短板。它在参测模型的三项总体指标中均排名第一；与人类参考相比，其答案准确率低 17.4 个百分点，B.G. 低 59.2 个百分点，可见双模态证据定位的差距明显大于答题差距。
复杂任务中，答题与定位表现出现分化。Gemini3.7-Flash 在 Level 2 和 Level 3 的答案准确率分别为 73.6% 和 79.1%，B.G. 却从 29.2% 降至 12.3%。面对长程、多证据和多跳任务，模型选对答案的能力与精确定位依据的能力呈现出不同变化。
证据指标会改变模型排序。下方柱状图中，MiMo-V2.5-310B-A15B 的答案准确率低于 Qwen3.8-Omni-Flash，但 C.G. 和 B.G. 分别领先 2.7 和 6.1 个百分点。因此，对需要返回视听依据的任务，选择模型时应同时关注证据覆盖和定位精度。

论文进一步比较了 MiMo-V2.5 的不同输入组合：原生音频、自动语音识别（ASR）转录、视频，以及视频分别与音频或转录结合的结果。

输入模态消融结果。MiMo-V2.5 的完整名称为 MiMo-V2.5-310B-A15B

原生音频带来更高的得分。 在 MiMo-V2.5 的测试中，视频加原生音频相较视频加 ASR 转录，Acc.、C.G. 和 B.G. 分别高 8.1、10.3 和 8.9 个百分点。去掉视频或音频后，准确率分别降至 30.0% 和 26.8%，低于完整视听输入的 56.8%。
ASR 提供语音的文字内容，原生音频还保留非语音声音与韵律；转录和时间戳误差也会影响区间匹配。选择视听推理方案时，需要同时评估输入方式对答题、证据覆盖和时间定位的影响。

EvaOmni 的数据集、标注与评测框架已开放。可以先从魔搭下载数据集，再按官方代码仓库的说明接入模型、运行评测。

EvaOmni 把“答案、证据覆盖、双模态精确定位”拆成可核对的指标，为 Omni LLM 提供了更细致的视听能力评测。人工证据区间与层级任务设计，能够帮助研究者定位模型在检索、理解和多步推理中的具体短板。提升答案表现的同时，让模型准确返回支持答案的声音与画面，是这一基准推动的改进方向。

点击阅读原文，即可跳转数据集链接~

👇点击关注ModelScope公众号获取
更多技术信息~