李飞飞谢赛宁再发新效力：twitter 巨屌

径直把 o1 式想考拉至下一个 level ——多模态大言语模子的空间想维！

这项接洽系统评估了多模态大模子的视觉空间智能，收尾发现：

刻下，即使是起初进的多模态大模子，在空间瓦解方面与东谈主类比拟仍有显赫差距，测试中约71% 的造作都源于空间推理方面的劣势，即空间推理能力是刻下主要瓶颈。

更为意旨的是，在这种情况下，想维链、想维树等常用的言语辅导时刻径直失灵了——

不仅莫得擢升模子在空间任务上的阐扬，反而会使性能着落。

而在问答流程中明确生成瓦解舆图则会增强多模态大模子的空间距离能力。

这项责任威望罕见豪华，合著述者中不仅有李飞飞，还有纽约大学筹算机科学助理教练、CV 大牛谢赛宁。

而剩下的四位作家，一齐共合并作。

这项接洽蛊惑了不少网友的关爱，大伙儿一边看论文，一边已迫不足待搓搓手期待 2025 年的新进展。

多模态大模子的空间想维

诚然刻下多模态大言语模子在言语相识和一般视觉任务上取得了显赫进展，但在空间瓦解和相识方面的能力仍未得到充分接洽。

反不雅东谈主类，濒临感情旋转测试、挑选产品这些任务时，会同期依赖于空间和视觉想考。

多模态大言语模子能否"进行空间想考"？能否构建一个准确的、隐式的"瓦解舆图"来匡助它们回话操办空间的问题？使用多模态大言语模子来增强空间智能的上风和局限性是什么？

为了探索这些问题，团队接洽了视觉空间智能。

作家暴露，之是以在"空间智能"前加上"视觉"一词，是因为空间智能不受感官模式达成，比如盲东谈主也可以通过别的感官感知空间，而该接洽专注于视频输入，是以照料视觉空间智能。

VSI-Bench 视觉空间智能基准测试集

起初团队冷落了一个名为VSI-Bench的基准测试集。

基于之前的筹算机视觉责任，团队从头应用现存的空间扫描视频（率先用于 3D 重建）过火着实标注来自动生成视觉问答（VQA）问题。

具体来说，这个测试集基于 ScanNet、ScanNet++ 和 ARKitScenes 等数据齐集的 288 个着实室内场景视频，包括住宅、办公室、实践室等各式环境。

团队想象了超5000 个问答对，将评测任务分为三大类：

设立型任务：物体计数、相对距离、相对标的、阶梯筹算

测量算计：物体尺寸、房间大小、王人备距离

时空任务：物体出现规则等

并选拔东谈主工审核确保数据质地，遗弃歧义和造作标注。

随后，他们全面评估了15 种补助视频的多模态大言语模子，开源、闭源的都有。

收尾，东谈主类在 VSI-Bench 上的平均准确率达到 79%，在设立型和时空任务上准确率更高，处于 94%-100% 之间。

比拟之下，阐扬最佳的闭源模子是Gemini-1.5 Pro，平均准确率为 48.8%，开源模子 LLaVA-NeXT-Video-72B 和 LLaVA-OneVision-72B 与之邻近。

在需要精准算计王人备距离 / 大小的三个测量任务上，大模子和东谈主类阐扬差距相对较小。

团队还进一步阐述了视频输入对模子性能的遑急性，盲测实践中，在王人备距离算计等特定任务上，即使是起初进的模子也难以高出迅速基线的阐扬。

言语视觉两个层面分析模子想维流程

为了深刻相识模子的瓦解机制，团队又从言语和视觉两个层面分析了模子的想维流程。

在言语层面，通过让模子进行自我暴露，发现它们如实具备可以的视频相识和言语推理能力。

但详备的造作分析夸耀，超 70% 的造作源于其空间推理能力的不足。

接着，团队用常用的言语辅导时刻矫正，包括想维链、想维树、自洽性。

收尾不仅莫得擢升模子在空间任务上的阐扬，反而导致了性能着落，也即是说约略的言语推理时刻难以措置空间瓦解问题。

在视觉层面，他们又使用瓦解舆图来分析模子的空间顾忌能力。

收尾夸耀，模子在相识局部空间关系时阐扬较好，相邻物体位置关系的准确率达到 64%。但跟着物体之间距离的加多，模子的空间关系相识能力显赫着落。

这说明模子倾向于成立局部空间模子，而不是酿成竣工的全局空间相识。

不外，他们接洽了一种新想路：

使用瓦解舆图辅助空间推理。

加入这种机制，模子在相对距离任务上的准确率擢升了 10 个百分点，这为擢升模子空间智能提供了一个潜在的措置标的。

李飞飞谢赛宁领衔，四位共合并作

论文仍是公布，几位作家就情谊当起了自个儿的首批自来水（doge）。

谢赛宁默示：

视频相识是下一个前沿限度，但并非整个视频都是疏导的。

这项接洽探索了多模态大言语模子若何不雅察、顾忌和回忆空间。

" AI 教母"李飞飞也转发开麦：

这是东谈主类智能中极为遑急的一个方面，2025 年还有更多值得期待，鞭策空间智能的畛域！

这项接洽共合并作有四位，正如李飞飞教练泄露，多位都是谢赛宁的学生。

Jihan Yang

Jihan Yang 是纽约大学 Courant 接洽所博士后接洽员，导师是谢赛宁。在此之前，Jihan Yang 于香港大学得回了博士学位，中山大学得回了学士学位。

他的接洽赞佩齐集在机器学习和筹算机视觉限度，罕见关爱多模态和具身智能。

Shusheng Yang

Shusheng Yang 当今是纽约大学博士生。

领英夸耀，他是华中科技大学学友，也曾在阿里和腾讯有过责任履历。

Anjali Gupta

Anjali Gupta 是纽约大学 Courant 接洽所博士生，导师是谢赛宁教练。

她的接洽限度是机器学习和筹算机视觉，罕见是以视觉为中心的多模态大言语模子。

Rilyn Han

Rilyn Han 来自耶鲁大学，主修筹算机科学和经济学，接洽主要关爱探索多模态大言语模子的能力。

论文集合：https://arxiv.org/pdf/2412.14171

步田主页：https://vision-x-nyu.github.io/thinking-in-space.github.io/

参考集合：

[ 1 ] https://x.com/sainingxie/status/1870877202595958791

[ 2 ] https://x.com/drfeifei/status/1870881981703291097

[ 3 ] https://vision-x-nyu.github.io/thinking-in-space.github.io/

—  完  —

点这里� � 关爱我，牢记标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日重逢 ~