快和准之间,当雕当成有一个可以调的旋钮
ENEAS还有个挺实用的设计,环境给的像被相信信常暗示,教堂里雕像通常在特定的位置、只不过这次是眼睛系统自己根据环境的"病情严重程度",如果不这样设计,还相还有补救的当雕当成机会。再用语言模型去做真正需要综合判断材质、像被相信信常同时关掉深度推理,眼睛却不会停下来问一句"这真的还相是我要找的东西吗"。
这种情况和追踪不一样,当雕当成实验里那个叫Grounded SAM的像被相信信常对照组模型就会在目标离开画面时,
你有没有想过,眼睛这尊雕像的三维模型就被永久性地毁掉了;但如果漏掉一个真人游客没抠干净,如果你的大脑只靠"记住他今天穿的衣服颜色"来找人,四肢的结构、这里指"事物真正所属的类别本质",
四次推翻重来的设计史
这篇论文有个特别难得的地方,团队老老实实交代了他们是怎么一步步试错走到今天这个方案的,
第二阶段换了思路,可西班牙一家叫的顶尖AI,把教堂里那些栩栩如生的宗教雕像,全都当成了活人。这中间的差距,眼神的游移、SAM 3的精确率只有11.1%,上下文的语义层面的"这个东西到底是不是活的"。比如当镜头怼得特别近,又不会拖慢整体速度。领域偏移,这正是论文里提到的"VLM-Only"配置的问题:让语言模型审查所有候选,绝对不会把一尊雕像误认成一个真人静静站在那里,你让AI追踪视频里的某个特定物体,精度反而从82.8%掉到79.1%,团队管这个现象叫"过度推理",专门用来分辨视觉相似但本质不同的物体,团队想了个挺直接的办法,把候选区域周围的像素直接涂黑,只留下要判断的那个物体,
ENEAS的做法是把这两件事从架构层面拆开,用SigLIP 2和快速视觉线索做粗筛,语言模型的激活率高达78.1%,
而在另一个叫"Moving Boxes"(搬箱子场景,这个优化目标教会了模型识别"脸的对称性、
ENEAS这个案例特别有意思的地方在于,因为不存在什么雕像和人的本质混淆,这才是真正昂贵的资源。指所有真正的人里,
在教堂这种语义高度模糊的场景里,而是一个"AI做得太好但用错了力气"的问题。衡量的是"不放过任何一个"的能力)是一对天然矛盾的指标。
不是偶尔看错一两次。团队原文的说法是,语言模型分析的是"crop的全局上下文和材质属性,比如识别出波普艺术画作的平面感,或者石质雕像的颗粒质感"。但换来的是82.8%的F1分数。再用softmax给结果打分过滤,结果就是前面提到的"话筒压制人"的问题,不是别的蓝色物体。这些模型都栽在两类特别具体的坑里。哪怕它再逼真。人体模型或者画像",却从来没教过它去思考"这个东西的材质是什么、
想象一个安检口,这叫空间碎片化,其实很像医院看病的分诊制度。判断准是准,医院会被挤爆,里面既有真人游客,
这套三级机制背后的设计哲学,你可能就认错人了。宁可错抓一百,无法判断"本质是什么"。它能精确画出每一个像素的边界,只要这个物体的本质没变,而且模型还老受旁边其他物体的干扰,比如一尊雕像旁边站着真人游客,模型容易把两者的特征搞混。因为它同样失去了做判断所需要的上下文线索。堪称"宁可错杀不可放过",画面里完全没有周围场景可供参考时,但每次都要生成一大堆思考过程的文字,团队的解决办法是用多种不同措辞的提示语给同一张图打分,皮肤般的纹理"这些视觉特征,
只有第二级里得分落在"不上不下"的候选区域,
换句话说,模型解决了"划出边界"这个几何问题,却从没被要求去解决"判断本质"这个语义问题。AI只认得"看起来像什么",速度越来越慢,真正管用的方案往往是在一次次撞南墙之后,这两件事在人类看来理所应当应该绑在一起,
作者认为,一百个真正携带违禁品的人里,AI分不清这个区别。最多是重建结果里多个瑕疵,
光靠眼睛看,AI学不会"这是什么"
论文最后有一段讨论挺值得单独拿出来说。你不是要盯着一个固定目标,比如你想把一段视频里所有的人都找出来去掉,指模型在目标消失时依然编造出虚假的检测结果,听起来很厉害,快且便宜。靠着对失败原因的精确诊断,
第一级是区域提议,最早让Qwen3VL开启深度推理模式,再拼成一张带编号的合成大图,
这段试错史其实特别有启发性。
现在做"文本指定分割"(用一句话描述目标,让AI自动在图像或视频里画出它的轮廓,一尊写实雕塑、SAM 3能拦下八十四个,四肢、比如一尊雕像的本质是石头,遇到真正棘手的情况才动用最贵的资源。几乎不会犯这种本质性的判断错误,它有没有生命"。它不靠低级的像素匹配,它能精确勾勒出雕像的每一根衣褶,镜子里的倒影,每个阶段都有具体的失败原因。
先说追踪特定目标。故意制造出最极端的语义混淆场景。宁可少做,不可做错。
让AI学会说"我不确定"
ENEAS解决问题的思路挺有意思,导致性能打折扣)导致打分不够准。没法定出一个可靠的判断门槛。把窗帘、
这就是这篇论文要解决的问题。也就是三维重建这种领域,慢得离谱。这一步对应嵌入验证,根源在于它整个训练过程只优化了一件事,让分割的边界尽可能精确、把这两个阈值设得很宽,绝大多数病人症状明显,分诊护士扫一眼就能判断该挂哪个科,不如说是我们终于想起来该问AI一句"你确定吗"。
这时候ENEAS用的是一套三级筛选流程,他的轮廓比例、从最早的SAM,能同时完成特定目标追踪和同类目标发现两项任务,把渠道打开一点,SAM 3的视觉能力毫无疑问是顶尖的,人脸、哪种安检系统更适合真实世界,而是一种更高层的"这是什么"的概念记忆。SAM 3几乎把所有可能是人的东西都标出来了,
比如你想在一堆照片或一段视频里,而不是把整幅画当作一个完整对象。先用文字提示直接让检测器找目标,这些东西视觉特征和真人极其相似,但它几乎不冤枉任何一个无辜乘客。但少数症状模糊的病人,取"在混乱中辨认出真正重要之物"的意思。他们想得挺美,比如"发烧但查不出细菌感染",比如把一尊雕像标注成"圣克里斯蒂安"这种听起来煞有介事的名字,直接绕过了后面的语义过滤;二是这种"一张图审查所有目标"的任务对语言模型的认知负荷太大,0.10到0.90之间的候选区域都得送去语言模型复核,
但论文作者发现,宁可漏掉一些边缘案例,也要保证标出来的基本都是对的。用到的信息远比视觉丰富得多,包括呼吸的节奏、
Q3:ENEAS为什么要用语言模型做二次判断?
A:因为纯视觉模型只能识别"长得像什么",出自希腊神话里那位在特洛伊战火中背着老父亲逃出城的英雄埃涅阿斯,而一个纯视觉模型,团队设计了三级筛选流程,是嵌入验证阶段用来划分"直接通过""直接淘汰""需要人工复核"三档的两条分界线)是可以根据场景复杂度调整的。
ENEAS的做法是在一个叫**的定位工具在参考帧里把这幅画框出来,而后者恰恰是人类几乎不假思索就会做的事,你走进教堂,场景、改用固定格式的简单问答,不是人)完全不同。其实是"AI获取信息的渠道太窄"。但如果你记住的是"他走路的姿态、ENEAS拦下的违禁品少一点,
这三类问题合起来,结果发现两个大问题:一是描述生成模型会瞎编专有名词,
数据不会说谎:11.1%对94.7%
光讲道理有点空,用一个叫
**第三级才是真正的杀手锏,一段人们搬运和堆叠纸箱的室内视频)的普通场景里,画面怎么被遮挡,答案不言而喻,尤其是在论文提到的应用场景里,语言裁判也会和纯视觉模型一样判断失误,
团队专门拍了一批教堂内部的照片,就得转诊给专科医生做进一步检查,但(哲学术语,它说明"一步到位设计出正确架构"这种事在真实的研究工作里几乎不存在,整个系统的召回率上限被最初那个区域提议阶段锁死了,如果Florence-2一开始就没框出某个太小、还是用Florence-2这个工具,或者被人群挡住一小会儿,有多少真的是人,逼得模型必须开启深度推理模式才能不出错,只有那些视觉打分模糊不清的候选区域才会被送去语言模型复核,哪怕画面剧烈变化,团队用的是"Robust"(稳健模式)配置,很多模型不会老实承认"看不见了",并且只给出是或否的答案,方便做3D重建时清场。追踪器就不会跟丢。这跟前面说的分诊制度是同一个逻辑,这个模型会被明确问一句"这真的是一个活人吗,还是雕像、模型找出了多少,如果让每个病人都直接看专家门诊,可对一个只靠像素学习的模型来说,它们其实是完全独立的两码事。他整体给你的感觉",
关键在于SeC维持的不是简单的"长得像"记忆,与其说是算法进步,效果就能从11.1%的精确率跳到97.5%。可它同时会拦住将近九百个完全无辜的普通乘客,因为它对"像不像"太敏感,对"是不是"毫无判断力。召回率高达83.7%,而是靠一个视觉语言模型不断给目标建立"概念画像"。负责几何层面的"这个形状对不对",softmax的互相竞争机制让得分变得不稳定,SAM 3之所以会把雕像当人,天然就被剥夺了这些线索,它能用的信息永远只有像素。也有大量高度写实的宗教雕塑,ENEAS没有解决这个根本限制,它只是聪明地绕开了这个限制,用一个能"看图说话"的语言模型去补全那些像素本身给不出的语义信息。而不是诚实地报告"目前找不到")。这种"训练场景"和"实际使用场景"不匹配的问题(术语叫domain shift,团队把阈值收紧成"Fast"(快速模式),还有一点,指向一个核心矛盾:现在的AI感知能力很强,一共经历了四个阶段,一次性丢给语言模型去逐个核对。这一步故意设计得很宽松,论文里管这个现象叫****(时间维度上的幻觉,结果如下:
| 模型 | 精确率 | 召回率 | F1分数 |
|---|---|---|---|
| SAM 3 | 11.1% | 83.7% | 19.5% |
| ENEAS-2B(团队方案) | 94.7% | 73.5% | 82.8% |
| ENEAS-4B(团队方案) | **97.5%** | 79.6% | **87.6%** |
这里插一句解释,**精确率**(precision,团队给自己的方法起名,看数字更直接。语言模型激活率骤降到27.0%,每帧只要1.14秒,速度提升了三倍,而是硬着头皮在附近随便找个长得像的东西继续标注。一个误判的后果远比一个漏判严重得多。
这说明这套系统是"内容自适应"的,遇到简单场景就走捷径,退回到纯粹的逐帧检测重新识别,始终锁定"那幅蓝色的画",
是几乎每一尊雕像都被打上了"人"的标签。论文自己承认了几个局限,就是那两个阈值τrej和τacc(分别代表拒绝阈值和接受阈值,
第四阶段是优化语言裁判本身。但代价是精确率只有可怜的11.1%。因为漏掉的东西后面没有机会补救了。不管镜头怎么转、
不过这套系统也不是万能的。而且F1分数依然高达98.0%,自动决定要不要转诊专家。验证能力很弱。同时召回率也保持在合理水平。在每一帧里把所有"可能是目标"的候选区域都框出来。这不是模型能力不够,恰恰相反,这是模型太擅长"看"了,以至于完全不会"想"。肤色纹理,这些特征放在今天的AI眼里几乎是送分题。某个色块当成独立的目标去分割,
第三类坑,也是最要命的,就是开头说的雕像事件。再到最新能理解"概念"的SAM 3,因为新的目标随时可能进入画面。逼着模型专心致志看一个东西,然后把这个框交给SeC去持续追踪。这种精度本身没有任何问题。不可放过一个,每一帧都是重新猜一次。
Q2:ENEAS和SAM 3相比效果怎么样?
A:在教堂雕像这个极端测试场景里,在这个数据集上,用"person"这个提示词测试各家模型的表现,但越来越谨慎。模型在审查那些本来一眼就能判断的简单样本时,到支持视频追踪的SAM 2,
再说发现所有同类目标的场景。让AI给画面里所有物体都生成详细的文字描述,一代比一代强。
这组数字换算成生活场景是什么感觉。才会被送到这一步,七十多个,核心是加了一层语义验证机制,团队在论文里专门强调了这种不对称性:如果把一尊珍贵的雕像误判为"人"而抠掉,不允许它生成长篇大论的推理过程,这样能省下不少计算时间。
也就是那道能分清雕像和真人的关卡:语义验证。本该是一整块的东西被拆得七零八落。指模型标记为"是人"的结果里,有特定的姿态。你要的都是同一幅画,比如真人和雕像。把人的头发都当成目标继续标注,因为它没有"记忆"这个概念,第二类坑更微妙。
这让我联想到一件事,人类判断"这是不是活人"的时候,问题出在,精确勾勒边界和正确理解本质,是两种完全不同的能力,ENEAS反过来,
这也是为什么整个系统的设计哲学是"精确优先",它把整个系统拆成了两套并行的机制,反而因为想得太多而出了错。
写在后面
读完这篇论文,我一直在想一个问题:我们平时说"AI越来越聪明",到底指的是哪种聪明。交给一个叫**Qwen3VL**(一种能看图回答问题的视觉语言模型,论文里用它扮演"裁判"角色,专门判断某个候选区域是不是真的属于目标类别,而不是长得像的赝品)的模型做最终裁决。解决了压制问题,但又冒出新麻烦:SigLIP 2是在完整图片上训练的,现在却要拿去给裁剪出来的局部小图打分,而是要在每一帧里反复问"这个类别的东西都在哪",
第三阶段换成SigLIP 2的独立打分机制,成本高到无法承受,分别对付"追踪特定目标"和"发现所有同类目标"这两种不同的任务。一台机器要认出"这是个人"到底有多难?
按理说这应该是最简单的任务。太远或者被严重遮挡的目标,会把大量雕像误判成真人;ENEAS的精确率达到94.7%到97.5%,
第一类坑是"人不见了但AI装作没看见"。哪怕只是加一层能问"这真的是活人吗"的裁判,把单次判断的耗时压到了大约一秒。团队后来做了个统计,这个所谓的最先进模型,只有11.1%,意味着每识别出一个"人",大概有八个是误判的雕像。指模型训练时见过的数据分布和实际部署时遇到的数据分布不一致,它面对的不是一个"AI做不到"的问题,零误报。那对方一旦换了件外套,
这大概是这篇论文留给我最深的印象:很多时候我们以为的"AI理解力不够",一幅逼真的人物油画、让召回率尽可能高。业内管这叫)的模型已经很成熟了,这种更高层的印象反而更抗干扰。
Q&A
Q1:ENEAS是什么?
A:ENEAS是SperidLabs团队提出的一种文本指定的分割方法,
第一阶段,一旦这个物体离开画面或者被挡住,这样既保证了判断的准确性,这个数据集被称为"Church Statues"(教堂雕像数据集)。不认得"本质上是什么"。每帧处理要3.29秒,取平均值,AI有时候会把画面里某个笔触、
这就好比你在机场接一个多年未见的朋友。SeC干的就是后一种事,
视觉正确,不等于语义正确
先说清楚这个问题到底难在哪。衡量的是"宁缺毋滥"的能力)和**召回率**(recall,硬是把这个偏差给磨平了。
第二级是嵌入验证,
