Matrix3D是什么?一文让你看懂Matrix3D的技术原理、主要功能、应用场景
Matrix3D概述简介
Matrix3D 是南京大学、苹果公司和香港科技大学合作推出的新型的统一摄影测量模型,能在一个模型中完成多个摄影测量子任务,包括姿态估计、深度预测和新视图合成。Matrix3D 的核心是多模态扩散变换器(DiT),通过整合图像、相机参数和深度图等多种模态的数据,实现灵活的任务处理。 Matrix3D 的训练采用了掩码学习策略,在部分数据缺失的情况下,也能基于双模态数据(如图像-姿态或图像-深度对)进行全模态训练,显著增加了可用的...
AI工具评测
2025-04-05