上一篇
Baichuan4-Finance是什么？一文让你看懂Baichuan4-Finance的技术原理、主要功能、应用场景
VSI-Bench是什么？一文让你看懂VSI-Bench的技术原理、主要功能、应用场景
来源：卓商AI
发布时间：2025-04-05
VSI-Bench概述简介
VSI-Bench（Visual-Spatial Intelligence Benchmark）是李飞飞、谢赛宁及他们的研究团队推出的视觉空间智能基准测试集，研究者构建用在评估多模态大型语言大模型（MLLMs）在空间认知和理解方面的能力。VSI-Bench包含超过5000个问题-答案对，覆盖近290个真实室内场景视频，涉及住宅、办公室和工厂等多种环境。VSI-Bench任务分为配置型任务（如物体计数、相对距离等）、测量估计（如物体尺寸、房间大小等）和时空任务（如物体出现顺序），能系统地测试和提高MLLMs在视觉空间智能方面的表现。
VSI-Bench的功能特色
评估视觉空间智能：量化评估多模态大型语言大模型（MLLMs）的视觉空间智能，包括对空间关系的感知、理解和记忆能力。
基准测试：提供标准化的测试集，包含5000多个问答对，用在基准测试和比较不同MLLMs在视觉空间任务上的性能。
任务多样性：包括配置型任务（物体计数、相对距离、相对方向、路线规划）、测量估计（物体尺寸、房间大小、绝对距离）和时空任务（物体出现顺序），全面覆盖视觉空间智能的多个方面。
视频理解：基于视频输入，VSI-Bench测试MLLMs对连续、时间性输入的理解，比静态图像更接近人类观察世界的方式。
数据质量和控制：基于人工审核确保数据质量，消除歧义和错误标注，提高测试结果的可靠性。。
VSI-Bench的技术原理
数据集构建：基于多个公共室内3D场景重建数据集（如ScanNet、ScanNet++和ARKitScenes），数据集提供高保真度的视频扫描和对象级别的3D注释。
问题-答案对生成：基于数据集中的元信息（如对象类别、边界框）和问题模板自动生成问题-答案对，同时对路线规划任务进行人工标注。
质量控制：实施人工审核流程，确保问题清晰无歧义，对错误或模糊的问题进行溯源和修正。
模型评估：在零样本设置下评估多种视频支持的MLLMs，用默认提示进行测试，采用精确匹配和模糊匹配作为主要评价指标。
性能指标：对于多项选择题（MCA）任务使用准确度（ACC），对于数值答案（NA）任务引入新的度量标准——平均相对准确度（MRA）。
认知图生成：提示MLLMs预测视频中对象的中心位置，生成认知图，评估模型的内部空间表示和记忆能力。
VSI-Bench项目介绍
项目官网：vision-x-nyu.github.io/thinking-in-space
GitHub仓库：https://github.com/vision-x-nyu/thinking-in-space
HuggingFace模型库：https://huggingface.co/datasets/nyu-visionx/VSI-Bench
arXiv技术论文：https://arxiv.org/pdf/2412.14171
VSI-Bench能做什么？
机器人导航与交互：在机器人技术领域，评估和训练MLLMs，更好地理解空间布局，提高机器人在未知环境中的导航和避障能力。
增强现实（AR）/虚拟现实（VR）：在AR/VR应用中，帮助MLLMs更好地理解用户的物理空间环境，提供更自然的交互体验。
自动驾驶汽车：自动驾驶系统需要精确的空间理解能力处理复杂的交通场景，用在开发和测试支持自动驾驶的视觉空间智能系统。
智能家居系统：智能家居系统需要理解居住空间的布局和物体的位置，VSI-Bench帮助训练MLLMs，使其更好地服务于智能家居控制和自动化。
室内设计和建筑规划：评估MLLMs在空间规划和设计中的应用，帮助系统提供更合理的布局建议。
© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有，未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
相关文章
-
CHANGER是什么？一文让你看懂CHANGER的技术原理、主要功能、应用场景2025-04-05 -
Kiroku是什么？一文让你看懂Kiroku的技术原理、主要功能、应用场景2025-04-05
-
Vision Search Assistant是什么？一文让你看懂Vision Search Assistant的技术原理、主要功能、应用场景2025-04-05
-
MVDrag3D是什么？一文让你看懂MVDrag3D的技术原理、主要功能、应用场景2025-04-05
-
Chonkie是什么？一文让你看懂Chonkie的技术原理、主要功能、应用场景2025-04-05
-
MSQA是什么？一文让你看懂MSQA的技术原理、主要功能、应用场景2025-04-05
卓商AI
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
最新发布
1
2
3
4
5
6
7
8
9
10
猜你喜欢
DataSci Pro
DataSci Pro 是一款专注于数据处理与分析的在线工具，旨在帮助用户快速将数据转化为有价值的见解。它通过提供一站式的数据处理服务，包括数据清洗、...
RDFox
RDFox 是由牛津大学计算机科学系的三位教授基于数十年知识表示与推理（KRR）研究开发的规则驱动人工智能技术。其独特之处在于：1. 强大的AI推理能...
Wanderias
Wanderias正在为您构建基于AI的个性化旅行计划！告别耗时的研究和决策，我们的个性化旅行规划器会为您处理每一个细节，让您轻松享受无压力的旅行体验...
Align
Align是一款心理健康应用，旨在通过生活方式选择帮助现代人建立和保持良好的心理健康。它提供个性化的指导和简化的生物视觉，帮助用户了解他们的生活方式选...
Personage
Personage 是一个 AI 伴侣的无代码平台，可以帮助创建者通过他们的受众获利。通过 Personage，您可以创建个性化的 AI 伴侣或克隆，...
Viz Graph Maker
Viz Graph Maker是一个利用人工智能技术帮助用户快速创建各种图表的工具。它支持多种图表类型，包括柱状图、饼图、折线图等，并提供易于使用的界...
Jace
Jace是一款商业领域的AI助手，专注于提升营销效率，无需专业技能即可轻松启动和管理营销活动。其主要优点包括创建针对性的营销活动、实时监控性能和随时优...
liso
LISO是保护您的敏感数据，密码和文件的最终解决方案。 LISO AI驱动的数据安全性和密码管理器提供了一个防盗库，以保护您的宝贵信息免受撬动的眼睛和...
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
