腾讯视频开源 34 万条工业级视频生成数据，首次系统覆盖全参考生成训练与评测

视频生成正在从单纯的文本驱动，走向更灵活、更精确的全能参考（Omni Reference-to-Video, Omni R2V）控制。在实际创作中，参考素材承担的作用正在变得越来越丰富：用户可能希望保持某个人物的身份与外观，同时参考另一段视频中的动作和运镜；
也可能希望沿用某种视觉风格，或按照故事板给定的结构与剧情生成新的镜头。进一步地，多份参考还可以共同控制不同的人物、场景、风格或结构，并按照指令组合到同一个生成结果中。
然而，现有公开训练数据和评测体系仍主要围绕有限的参考类型和相对简单的控制设置构建，难以完整覆盖这些不断扩展的 R2V 需求。
为此，推出 OmniR2V Dataset 与 OmniVBench：前者提供面向多种参考任务的大规模训练资源，后者系统评测模型在多样化、细粒度及组合参考条件下的生成能力，共同为 Omni R2V 的训练与评估提供基础。
开源地址：

论文：

http://arxiv.org/abs/2609.22069
项目主页：

OmniVBench — Omni-R2V Dataset & Benchmark
训练数据：

https://www.modelscope.cn/datasets/TencentOVBU/OmniR2V

目前，高质量、可直接用于训练的多任务 R2V 数据仍然十分稀缺。R2V 数据的难点不仅在于获得大规模视频素材，更在于将原始视频系统转化为具有明确参考关系、可直接用于训练的结构化样本；当任务进一步扩展到 Omni R2V 时，这一构建成本也随之增加。
针对这一问题，构建并开源了 OmniR2V Dataset。

OmniR2V Dataset 主要基于腾讯视频大规模专业版权视频资源构建。数据覆盖真人实拍、二维动画和三维动画等多种内容形态，并以 1080p、2160p 及以上高分辨率视频为主，为多样化 R2V 数据构建提供了高质量的素材基础。
数据集共包含 339,570 条处理后的训练样本，覆盖 Content、Motion、Style、Structure、Narrative、Multi-Content 和 Cross-Aspect 七类 R2V 任务。针对不同参考因素，设计相应的任务特定构建流程，通过跨片段匹配、参考因素提取、逆向生成与质量筛选等方式，将原始视频转化为具有明确参考关系的 R2V 训练数据。

不同于仅提供原始视频链接、仍需用户自行下载和处理的数据资源，OmniR2V Dataset 直接提供包含参考输入、训练指令和目标视频的完整训练样本，降低社区开展 Omni R2V 训练与研究的数据构建门槛。

随着 R2V 能力不断扩展，评测本身也面临新的问题。
已有 R2V benchmark 往往集中于人物、物体或场景等内容参考，对于运动、运镜、风格、结构和叙事等参考因素覆盖不足；即使针对同一种参考类型，也较少进一步区分不同的细粒度控制能力。与此同时，实际生成任务正在快速走向多参考与组合控制，模型不仅需要理解单份参考，还需要从多份参考中提取正确的信息，并按照指令将不同参考因素作用到正确的目标上。

针对这些变化，OmniVBench 从四个方向扩展 R2V 的评测范围：

• 更广的参考类型：覆盖内容、运动、风格、结构和叙事等不同参考因素；

• 更细的控制粒度：进一步区分整体物体、材质、纹理和局部部件等不同粒度；人物参考则覆盖单视角、多视角、定制修改和属性定位等设置。关键参考信息不直接通过文本重复描述，从而真正考察模型从参考中理解和提取目标因素的能力。

• 更多的参考组合：不仅评测单参考，还包含 Character–Scene、Character–Object、Character–Object–Scene 等 Multi-Content 设置，以及 Content-Style、Content-Structure 等 Cross-Aspect 组合；

• 更灵活的定制控制：模型需要根据指令判断每份参考中哪些因素应该被提取、哪些因素需要被排除，并进一步将不同参考因素正确绑定到对应的目标实体或属性。

最终，OmniVBench 建立了覆盖 7 大任务类别、18 个细分任务、813 个测试案例的 R2V benchmark，从单一参考一直扩展到复杂的多参考组合设置。

不只是“测得更多”，也需要“评得更细”

OmniVBench 提出 factor-grounded evaluation。根据每个测试案例中的参考角色、目标绑定关系与生成指令，构建了 12,172 个 case-specific checklist items，将复杂的整体判断转化为与具体参考因素对应的细粒度检查。
整个评测从三个互补维度展开：

• Reference Fidelity（RF）：参考因素保留得是否准确。

• Instruction Realization（IR）：参考与指令之间的控制关系是否正确实现。

• Video Quality（VQ）：最终视频本身的生成质量如何。

从美学表现、物理合理性和感知质量等方面评价最终生成结果。
这样的拆分，使 OmniVBench 不再只回答“这个视频生成得好不好”，而能够进一步区分：参考因素有没有保留下来、不同参考信息有没有被正确解离和路由、指令要求有没有真正实现，以及最终视频质量如何。

现有模型表现如何？

进一步使用 OmniVBench 对多款代表性的开源与闭源视频生成模型进行了系统评测。实验表明，当前模型在不同 R2V 任务上的能力仍然很不均衡：内容参考相对成熟，而在运动、风格、结构、叙事及多参考组合等复杂任务上仍存在明显提升空间。
同时，模型的 Reference Fidelity 与 Instruction Realization 呈现出不同的能力表现——能够较好保留参考信息，并不意味着能够正确完成参考因素的解离、路由与指令控制。这些结果进一步说明，对 Omni R2V 进行细粒度、分维度评测的必要性。

随着 R2V 走向更广的参考类型、更细的控制粒度、更多的参考组合和更灵活的定制方式，训练数据与评测体系也需要随之扩展。
开源的 OmniR2V Dataset 提供 339,570 条处理后的完整 R2V 训练样本，降低多类型、组合式 R2V 数据的构建门槛；
OmniVBench 则通过 7 大任务类别、18 个细分任务、813 个测试案例和 12,172 个 factor-grounded checklist items，为复杂参考控制提供更全面、细粒度的评测。
希望这两项资源能够为社区提供一套覆盖训练与评测的 Omni R2V 基础设施，支持更通用、更灵活的参考视频生成研究。

Omni-R2V 采用 JSONL 格式组织训练标注，存放于 meta/ 目录下。每条样本包含中英文生成指令（prompt_en / prompt_cn）、参考素材信息（inputs）及目标视频路径（target）。
所有媒体路径均采用相对于数据集根目录的相对路径，开发者可直接根据标注文件构建训练数据加载器。
此外，数据集保留了可用的多组候选参考素材，支持单参考训练、多参考联合训练以及灵活的参考组合，为不同的视频生成模型提供统一的数据基础。
可通过魔搭社区网页下载，也可以使用 ModelScope SDK 进行命令行下载：

为提高大规模数据的下载效率，Omni-R2V 将视频及参考素材按照任务类别打包为多个 .tar 文件，存放于 assets_tar/ 目录下。
下载完成后，可在数据集根目录执行：

解压后，参考图像、参考视频及目标视频将按照对应的任务类别和样本编号组织在 assets/ 目录下。
数据集仅供科研使用，使用前请仔细阅读相关许可条款。

点击阅读原文，即可跳转数据集链接~

👇点击关注ModelScope公众号获取
更多技术信息~