清华开源 AerialDojo‑200K：20 万样本！开放世界无人机目标搜索大规模基准来了

✨导读： 搜救、巡检、物资配送都需要无人机自主找目标，但该方向一直缺大规模评测基准。本文打造AerialDojo‑200K，42个仿真场景、20万+任务，支持语义/图像两种目标输入。实测主流多模态大模型，结果戳破现实：离真正能用的通用无人机智能体，还有很远的路🛫。

• 作者：Tongtong Feng , Xin Wang , Haoran Hou , Ren Wang , Weiran Wang , Shaokai Zhu , Ziqi Jia , Hao Wang , Yu‑Wei Zhan , Zongyuan Wu , Jinghao Cui , Wenwu Zhu

• 单位： 清华大学计算机科学与技术系、BNRist， 都柏林大学电气与电子工程学院， 北京大学信息科学技术学院， 浙江工业大学计算机科学与技术系

• 论文标题：AerialDojo-200K: A Large-Scale Benchmark Suite for Open-World Aerial Object-Goal Search

• 论文链接：https://arxiv.org/abs/2609.36066v1

• 项目主页：https://fengtt42.github.io/AerialDojo/

• 代码&数据集：https://github.com/fengtt42/AerialDojo-200K

🔍研究背景

在聊这篇工作之前，先搞懂什么是开放世界无人机目标搜索 AerialOGS 🎯。简单说：给无人机一个目标，可以是一段文字描述，也可以一张参考图片，不给预设飞行路线，让无人机在复杂三维环境里自己飞、自己探索，找到目标后主动停下。这项能力在灾害搜救、大型基建巡检、无人机自主配送都有很高实用价值。

⚠️它和常见无人机视觉语言导航（Aerial VLN）有本质区别：

• ✅VLN：人给一步一步的飞行指令，无人机照着指令飞就行；

• ✅AerialOGS：只给高层目标，无人机要自己搞定三件事：去哪里探索、怎么导航飞行、什么时候确认找到目标并停止。

但是目前这个方向的研究还处在早期，痛点非常突出：

1. 现存同类基准极少，只有UAV‑ON、CityAVOS两套，整体数据规模很小；

2. 各个数据集动作空间、数据格式五花八门，很难做跨数据集对比评估；

3. 缺少丰富多样的仿真场景，限制无人机智能体的训练效果与泛化能力。

虽然现在多模态大模型语义理解能力很强，但缺少一个大规模、统一的测试平台，去真实检验大模型做无人机具身搜索的能力。这就是这篇工作想要解决的问题。

💡主要贡献

1. 📊超大尺度基准AerialDojo‑200K问世：场景数量是现有最大AerialOGS基准的3倍，任务实例数量达到18.7倍；一共42个仿真场景，205732条搜索任务。

2. 📝高质量人工标注数据集：12位标注人员耗时2个月，手工标注109个地标、2099个目标物体、2099个物体锚点。每条任务附带无碰撞参考轨迹、多视角录像，全部轨迹加起来总里程高达4115km。

3. 🧪完整统一闭环评测体系：划分分布内（ID）、分布外（OOD）场景，设计全套量化指标；对5个开源、4个闭源多模态大模型开展系统评测。实验证实：距离落地可用的通用空中智能体，依旧存在巨大鸿沟。

🛠️AERIALDOJO‑200K基准详解

仿真器与环境配置

整个数据集基于虚幻引擎 + 微软Project AirSim搭建高保真仿真环境。

• 🌆场景资源：覆盖4大场景家族，21种场景类型，合计42个仿真场景：18个城市、12个自然、6个基础设施、6个灾害场景。 每一类场景都会提供2套副本，一套用于分布内训练，一套作为分布外测试，专门用来检验模型泛化性能。

• 📷传感器设定：无人机搭载前、左、右、下四台相机，同步输出RGB‑D图像，分辨率640×640，视场角90°，帧率15FPS。

重点约束❗：智能体拿不到GPS信号、全局地图、外部定位信息。只能依靠自身第一视角视觉做感知决策，更加贴合真实无人机的限制。

• 🎮动作空间（4自由度）：一共8类动作，合计16个离散选择：前、左、右三个方向平移（可选1/3/5米三档位移）、上升/下降（1或2米）、左转/右转（偏航15°），以及最重要的Stop停止动作。

• 📍物体锚点 Object Anchor：论文没有直接拿物体中心点作为成功判定点。很多大型物体中心点在物体内部，无人机物理上根本飞不进去。所以人工标注锚点：锚点放在物体边界外1米、无碰撞的观测位置，镜头朝向物体中心，作为任务成功的空间参考点。

任务定义与数据集构成

一条搜索任务记作 

• ：无人机起飞初始位姿，包含三维坐标与机头偏航角；

• 目标信息：包含目标物体名字、附近地标、相对地标的8方位方向，以及目标的表达形式。

任务分成两大类型：

• SemanticOGS 语义目标搜索：靠文字描述去找物体；

• ImageOGS 图像目标搜索：给一张参考图片，以图搜物。

📈难度分级：按照参考轨迹的飞行距离，划分Base、Standard、Long‑Horizon三档难度，同时限制最大可执行动作数量（动作预算）：

为了剔除过于简单的“直线直达”任务，论文设置筛选条件：

• 起点与目标距离大于3m，轨迹  ；

• 迂回比  。

：起点到锚点直线欧氏距离； ：规划出来的参考轨迹总长度。

数据集总规模：205732条任务实例，语义目标、图像目标任务各占一半，分别为102866条。

使用Hybrid A*算法，为每一条任务生成一条无碰撞的参考飞行轨迹。

评测协议与核心指标

📌场景划分策略：42个场景对半拆分，21个分布内ID场景，21个分布外OOD场景。

• ID场景：80%用来训练，剩余20%做分布内测试；

• OOD场景：20%作为小样本适配集，剩下80%作为分布外测试集，检验模型迁移到陌生环境的能力。

🔁闭环评测流程：多模态大模型接收RGB‑D观测画面、任务目标、历史交互记录，输出动作；动作送入仿真器，得到下一帧观测，循环运行。

注意：目标坐标、参考轨迹只有评测程序能看到，模型完全不能访问，保证评测公平。

📊五大评价指标：

1. SR 成功率 ⬆️（核心主指标）：在动作预算内、全程无碰撞，执行Stop时距离目标锚点小于3m，该类episode占全部任务的比例；

2. OSR 先知成功率 ⬆️：不管模型有没有正确Stop，只要无人机曾经进入成功区域就算有效，可以看出模型是否有能力飞到目标附近；

3. DTS 到目标距离 ⬇️：任务结束时刻，无人机到目标锚点的平均欧氏距离；

4. SPL 加权路径长度 ⬆️，用来衡量导航效率

标记任务是否成功； 是参考轨迹长度； 代表模型实际飞行轨迹长度。

5. CR 碰撞率 ⬇️：发生碰撞的任务占比，越低代表避障效果越好。

论文同时采用3m（主标准）、5m（宽松标准）两套成功阈值，用来验证评价标准对模型排名的影响。

🧪实验结果与分析

实验设置

本次一共测评9个主流多模态大模型：

• 5个开源模型：Qwen3‑VL‑4B、InternVL3.5‑8B、Ministral 3 8B、Phi‑4‑multimodal、MiniCPM‑V 4.6

• 4个闭源模型：GPT‑5.6 Sol、Grok‑4.5、Gemini 3.8 Flash、Claude Opus 5

统一Prompt约束模型，只输出JSON格式动作，模型仅能读取第一视角RGB‑D画面做决策。

关键实验发现🔥

1. 整体成功率极低，现有大模型能力堪忧（3m主标准）

• Base简单任务：效果最好的Claude Opus5，成功率SR也仅3.20%；开源模型中表现最优Qwen3‑VL‑4B只有0.71%。

• Standard中等难度任务：最优模型SR仅仅0.49%，长时序任务几乎无法完成。

有意思的现象：不少任务中无人机其实飞到过目标附近（OSR数值更高），但模型不知道什么时候按下“停止键”，没办法完成闭环任务。

2. 成功距离阈值，会直接改变模型排行榜：把成功阈值放宽到5m，所有模型的成功率都大幅上涨，甚至出现模型排名反转。

👉启示：做该方向研究，成功距离阈值必须明确写在论文里，不然结果不具备可比性。

3. 没有模型可以通吃全部场景：不同模型擅长的环境完全不一样：

• GPT‑5.6 Sol 在自然、基础设施场景表现最好；

• Claude Opus5 在灾害场景性能领先。

不同场景下碰撞率、最终距离差异巨大。只看全局平均指标会掩盖模型优缺点，需要分场景族做评估。

4. 避障依旧是老大难：部分模型的碰撞率超过50%，飞着飞着就撞障碍物。

✅实验总结：直接把现有MLLM拿来当无人机智能体，不管是环境探索、目标定位、停止判断还是避障，都存在明显短板，距离真正落地的通用空中智能体差距很大。

📝总结

本文提出AerialDojo‑200K，是当前规模最大的开放世界无人机目标搜索基准套件✨。数据集覆盖城市、自然、基础设施、灾害四大现实场景，同时支持语义目标、图像目标两种搜索模式。配套高质量人工标注、参考轨迹与完整闭环评测框架。

通过大规模测评主流开源&闭源多模态大模型，实验揭示了：当前多模态大模型直接做无人机自主搜索效果很差。

这个基准可以给后续研究者提供统一训练与测试平台，推动兼顾环境探索、实例目标识别、避障、精准停止的无人机具身智能算法向前发展。