读见

只有 10B,一个令人惊艳的国产模型,开源了!

约 10 分钟约 2,366 字

推荐理由VLX-Seek 的候选区域定位与计数方法,为视觉团队比较专用小模型和通用模型提供具体入口,方便评估实际部署取舍。

读前速览

3 个要点

OmAI 联汇推出 VLX-Seek 1.5,一个基于 Gemma 4 微调的视觉语言模型,专注于细粒度目标定位和计数,已开源 10B 版本,并提供 macOS 和 Linux 的推理支持。

  1. 高效的坐标解码机制

    VLX-Seek 使用区域编号代替直接输出坐标,将图像分割为候选区域,并让模型选择符合描述的区域编号。这种方法减少了解码开销,提高了定位精度,尤其在目标密集的情况下。

  2. 强大的拒识能力

    模型在训练中加入了大量负样本和拒识样本,使其能够准确判断何时没有匹配目标,并返回“无匹配”的结果,从而避免了不必要的误判。

  3. 跨平台推理支持

    开源的 10B 版本提供了完整的推理代码,支持在 Linux(CUDA、NPU)和 macOS(Apple Silicon)上运行,并附有详细的部署说明,方便开发者快速集成。

完整摘要

VLX-Seek 1.5 是一个专门用于目标定位的视觉语言模型,由 OmAI 联汇基于 Gemma 4 微调而成。它通过将图像分割为候选区域并使用区域编号进行指代,实现了高效的坐标解码。该模型在无人机、监控和机器人视角下表现出色,能够准确识别和计数目标,并具有良好的拒识能力。目前,10B 版本已开源,并提供了跨平台的推理支持。

目录 · 4 节

原创 小 G 2026-10-25 17:05 广东

前段时间爆火的 AI 决策模型 Jev,引发了快速结构化判断的讨论。

也让更多人开始关注,真实世界中的高效智能,首先需要什么样的感知能力。

比如让机器人去拿桌上的水瓶,光说拿水瓶还不够,还得弄清说的是哪一瓶。

机器人在走,身上摄像头拍到的画面是一直在变,在真实世界里,可不会等模型想完再动。

若要在这种环境里快速做出判断,前提是先把眼前的画面持续看清,才能把要找的目标找准。

最近偶然看到一支长期围绕端侧原生多模态智能探索的团队「OmAI 联汇」,给出了解决方案。

旗下 VLX 有两款模型,VLX-Seek 负责快速找到目标,VLX-Flow 负责持续理解环境。

目前 VLX-Seek 1.5 的 10B 版本已经开源,推理代码在 GitHub 上,模型权重也能下载了。

GitHub:https://github.com/om-ai-lab/VLX-Seek

image-20261024095136496

先圈出候选区域,再让模型挑

先看 VLX-Seek,主打细粒度视觉定位,能完成目标定位,也能数出符合描述的目标有多少个。

比如一张图里有好几个人,我们让它找「穿红衣服的人」,它就得按这个要求框出来。

看它的 README 和技术博客时,我留意到一个细节,它框目标用的是区域编号。

不少模型框目标的办法,是让语言模型直接写出一串坐标数字,比如 [x1, y1, x2, y2] 这样的格式。

画面里目标一多,要写的坐标也就多了。数字、顺序或者格式出了错,都可能让框的位置偏掉,甚至没法解析。

VLX-Seek 换了个做法,先由候选区域生成模型把画面里可能有东西的地方圈出来,每个区域编上号,变成模型能读懂的区域 token。

还是找「穿红衣服的人」,有了这些区域编号,模型就可以挑出符合描述的那几个区域,系统再根据编号查回对应的坐标。

README 里把这个思路叫做「从坐标生成到区域指代」。编号比一串串坐标短,解析起来也方便,目标多的时候能减少解码开销。

image-20261024092338166

这里还有个实用的设计,叫拒识。

训练的时候,团队专门加了负样本和拒识样本,让模型学会在画面里没有目标时,回答没有匹配目标,减少乱框的情况。

机器人后面还要根据定位结果行动,框错了,可能就走向了错误的物体。

7 月发布的 VLX-Seek 1.5,又补充了大量无人机、监控、机器人视角的训练数据,推理链路也做了提速。

VLX-Seek 1.5 规划了 0.6B、3B、10B 三种规模,开源的 10B 版本权重已放在 Hugging Face 上。

并且在 Linux 的 CUDA、NPU 和 macOS 的 Apple Silicon 上完成推理测试和验证,另外还有 Jetson、昇腾 910B 等设备的 Docker 部署说明。

image-20261024093508028

机器人和无人机视角下的表现

再来看一段 VLX-Seek 的介绍视频,里面有不少在航拍、街拍画面里按描述找目标的演示。

仓库里还放了几组 VLX-Seek 的典型案例,其中一张是机器人视角的桌面。

桌上一共四瓶水,两瓶放在纸盒上,两瓶直接放在桌面,给的指令是「不在纸盒上的水瓶」。

结果只框出了放在桌面上的两瓶,纸盒上的两瓶没有被框进去。这条指令里的「不在纸盒上」,它识别出来了。

image-20261024093647375

再换到无人机视角,高空拍下来的是一条马路,路上的车和人在画面里都只有一丁点大。

指令是「骑电动车的人」,路上十几个骑行的人被一个个框了出来,旁边开过去的汽车没有被算进去。

我们也能根据返回的框,统计目标的数量。无人机拍到的目标又小又密,定位和计数都得处理好。

image-20261024093741037

前面说的拒识,在 1.5 版本里也做得更明确了。

比如让 VLX-Seek 同时找 A 和 B,画面里只有 A,它会返回 A 的位置,B 则标成 None,表示没找到。

技术博客里还专门测了目标幻觉,看模型会不会乱框出不存在的目标,数值越低越好。

在无人机数据集 VisDrone 上,VLX-Seek 1.5-10B 的这一项是 7.0,同样做定位的 LocateAnything-3B 是 28.8。

image-20261024093911437

其他几项测评里,无人机定位和具身空间推理这两项也可以看看。

一个是 RefDrone,考的是在无人机画面里按描述找目标,VLX-Seek 1.5-10B 的 F1 是 73.2,Qwen3-VL-8B 是 51.7。

image-20261024094230544

另一个是具身空间推理的 EmbSpatialBench,VLX-Seek 1.5-10B 拿到了 85.0,在表里排第一,GPT-5.2 是 68.0,Gemini-3 Pro 是 61.2。

image-20261024094029929

VLX-Flow,让 AI 一直看着

前面这些案例,都是给一句描述,让 VLX-Seek 找目标。

开头提到的 VLX-Flow,则会一直处理传进来的视频,等我们问的时候,前面的内容已经看过了。

很多视频模型要等到有人提问,才开始处理视频。把整段视频一次喂进去,或者每隔几秒抽一帧,都是常见的做法。

整段处理的计算量大,等待时间也长。隔几秒抽一帧又容易漏,比如拿起杯子的那个动作,刚好在两帧之间,就没看到了。

image-20261024094813798

VLX-Flow 做的是持续视频理解,属于流式视觉语言模型,摄像头传来新画面,它就接着往下看。

视频被切成一段段小片段,按顺序送进模型,模型边看边更新两层记忆。

其中,视觉缓存保留最近的画面细节,语义记忆保留连续描述、问题和回答,方便后面接着问。

有人提问的时候,它直接从已经记下来的内容里回答,不用把整段视频从头再看一遍。

技术博客里举了一个例子,画面里有人先拿起杯子,再走向门口,最后把杯子放到桌上。

随后问「他刚才把什么放在桌上」,VLX-Flow 就根据已经保存的记忆,找回前后的动作关系来回答。

视频越长,常规做法要处理的历史就越多,开始回答前的等待时间也越长。

博客里的首 token 时延对比图也能看出这个差别。输入画面增多时,常规做法(Full Attention) 的曲线不断往上涨,VLX-Flow 则保持在比较低的位置。

image-20261024094639010

端侧设备本来就算力有限,视频还在不断传进来,能省下反复处理历史画面的计算,也更适合持续运行。

写在最后

把 VLX-Flow 和 VLX-Seek 用到工业巡检里,可以设想这样一个流程。

让 VLX-Flow 持续理解巡检画面,再让 VLX-Seek 按指令找到需要检查的设备。上层系统结合这些信息,判断下一步该继续巡检、重新观察,还是请人工确认。

开头提到的 Jev,属于一类叫 System One Model 的模型,讲究的是像人一样,不用细想就能很快做出反应。

机器人想做到这样的快速反应,我觉得第一步就是先把眼前的环境和目标认清楚,VLX-Flow 和 VLX-Seek 做的就是这一步。

OmAI 联汇把这个方向叫作 From Seeing to Deciding,希望从看见、看懂物理世界,进一步做到面向真实任务的快速决策。

对具身智能、视觉定位感兴趣的朋友,可以去 VLX-Seek 的仓库看看。

另外 VLX-Flow 的技术介绍和官方模型体验平台,我也一并放在下面。

今天的分享到此结束,感谢大家抽空阅读,我们下期再见,Respect!