上一篇
MuCodec是什么？一文让你看懂MuCodec的技术原理、主要功能、应用场景
Find3D是什么？一文让你看懂Find3D的技术原理、主要功能、应用场景
来源：卓商AI
发布时间：2025-04-05
关键字：
Find3D概述简介
Find3D是加州理工学院推出的3D部件分割模型，能根据任意文本查询分割任意对象的任何部分。Find3D用一个强大的数据引擎自动从互联网上的3D资产生成训练数据，并用对比训练方法训练一个可扩展的3D模型。Find3D在包括Objaverse-General、ShapeNet-Part和PartNet-E在内的多个数据集上展现出色性能，实现高达3倍于次佳方法的平均交并比（mIoU）提升，能处理来自iPhone照片和AI生成图像的野外3D构建。
Find3D的功能特色
开放世界3D部分分割：识别和分割任何物体的任何部分，只需用文本查询即可，不受预定义部分集的限制。
无需人工注释：用数据引擎自动从互联网上的3D资产生成训练数据，无需人工注释。
高性能与泛化能力：在多个数据集上表现出色，与次佳方法相比，平均交并比（mIoU）提高3倍。
快速推理：比现有基线快6到300倍，显著提高推理速度。
鲁棒性：在不同的物体姿态和查询条件下保持稳定的分割效果。
查询灵活性：支持不同类型的文本查询，包括不同粒度和描述风格的部分查询。
Find3D的技术原理
数据引擎：
用2D基础模型（如SAM和Gemini）自动注释3D对象。
将3D资产渲染成多个视图，每个视图传递给SAM进行分割。
对于SAM返回的每个掩码，查询Gemini以获取相应的部分名称，形成（掩码，文本）对。
将部分名称嵌入到视觉和语言基础模型（如SigLIP）的潜在嵌入空间中。
基于投影几何将掩码反投影到3D点云中，形成（点，文本嵌入）对。
模型训练：
基于Transformer的点云模型，该模型将点云视为序列，并执行块注意力。
模型返回的点特征与文本嵌入的余弦相似度进行任何自由形式文本的查询。
用对比学习目标处理标签的多义性和部分可见性问题，支持在数据引擎生成的数据上进行可扩展训练。
对比学习目标：
解决每个点具有多个标签的问题，及由于每个掩码只覆盖部分视图而导致的未标记点问题。
基于对比学习目标，让模型能学习到鲁棒的特征表示，在开放世界中实现准确的部分分割。
Find3D项目介绍
项目官网：ziqi-ma.github.io/find3dsite
GitHub仓库：https://github.com/ziqi-ma/Find3D
arXiv技术论文：https://arxiv.org/pdf/2411.13550v1
在线体验Demo：https://huggingface.co/spaces/ziqima/Find3D
Find3D能做什么？
机器人视觉与操作：在机器人领域，帮助机器人识别和定位物体的特定部分，进行精确的抓取、操作或交互。
虚拟现实（VR）和增强现实（AR）：在VR/AR应用中，提供对虚拟物体的更深层次理解，增强用户与虚拟环境的交互体验。
计算机辅助设计（CAD）：在CAD软件中，帮助设计师快速识别和编辑3D模型的特定部分，提高设计效率。
游戏开发：在游戏开发中，创建更复杂的3D物体交互，如角色装备的更换或物体的破坏效果。
建筑和工程：在建筑和工程领域，帮助分析和理解复杂的3D结构，如建筑模型或机械部件。
© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有，未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
相关文章
-
CHANGER是什么？一文让你看懂CHANGER的技术原理、主要功能、应用场景2025-04-05 -
Kiroku是什么？一文让你看懂Kiroku的技术原理、主要功能、应用场景2025-04-05
-
Vision Search Assistant是什么？一文让你看懂Vision Search Assistant的技术原理、主要功能、应用场景2025-04-05
-
MVDrag3D是什么？一文让你看懂MVDrag3D的技术原理、主要功能、应用场景2025-04-05
-
Chonkie是什么？一文让你看懂Chonkie的技术原理、主要功能、应用场景2025-04-05
-
MSQA是什么？一文让你看懂MSQA的技术原理、主要功能、应用场景2025-04-05
卓商AI
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
最新发布
1
2
3
4
5
6
7
8
9
10
猜你喜欢
sweethug ai
与Sweethug AI（最终的AI女友平台）一起体验独特的虚拟陪伴。沉迷于与多个AI女友的个性化互动，具有不同的个性和现实的图像。谈论任何事情，并与...
a1 art
使用A1.Art -Ultimate AI艺术站来提升您的艺术。 A1.ART平台允许轻松地创建AI艺术应用程序，将AI的力量掌握在每个人的手中。探索...
AI绘画Unidream
使用人工智能创建 AI 绘画艺术作品！使用 AI 艺术生成器，只需描述你的想法，AI 即可创作。每日可以领取免费绘画机会，开启次元裂缝...
zivy
Zivy明智地组织并优先考虑您的松弛消息，以进行有效的沟通。通过分析您的工作环境，它仅显示关键信息，降低混乱并提高生产率。节省时间并与Zivy保持专注...
Emastered
eMastered是由葛莱美奖得主工程师打造的在线音频母带处理工具。它使用人工智能技术，快速、简单地提升音频质量。用户可以上传音轨并自动应用专业的EQ...
Univerbal
Univerbal是一个提供多语言教学服务的平台，通过人工智能技术，用户可以在线学习并练习多种语言。该平台汇集了来自世界各地的语言讲师，提供个性化的语...
Stork
Stork是一款基于人工智能的协作工具，提供丰富的媒体消息传递、高级视频和语音会议、自动转录和屏幕共享功能。它记录和转录所有的视频和语音会议，并使用O...
Pawcracy
Pawcracy是为任何想给自己的狗狗提供最好照顾的狗狗父母提供的完美工具。立即注册并开始使用Pawcracy，改善您狗狗的幸福、健康和福祉。...
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
