上一篇
360Zhinao2-7B是什么？一文让你看懂360Zhinao2-7B的技术原理、主要功能、应用场景
GeneMAN是什么？一文让你看懂GeneMAN的技术原理、主要功能、应用场景
来源：卓商AI
发布时间：2025-04-05
GeneMAN概述简介
GeneMAN是上海AI实验室、北京大学、南洋理工大学、上海交通大学联合推出的3D人形创建框架，能从单张图片中创建出高保真度的3D人体模型。框架不依赖于参数化人体模型，是用多源高质量人类数据集，包括3D扫描、多视角视频、单张照片和合成数据训练人类特定的2D和3D先验模型。GeneMAN基于几何初始化、雕刻流程和多空间纹理细化技术，实现从自然环境数据图像中提取高质量3D人体模型的目标，不论图像中的人体比例、姿势或服装如何变化。
GeneMAN的功能特色
处理多样化的人体比例：无论图片中的人物是全身、半身还是特写，GeneMAN都能重建出相应的3D模型。
适应不同的服装和姿势：GeneMAN能处理各种服装和人体姿势，包括自然姿势和常见物品。
处理野外图像：GeneMAN特别擅长处理自然环境下的图像，即所谓的“野外数据”，这些图像可能包含多种复杂背景和光照条件。
生成高质量的纹理：基于多空间纹理细化流程，GeneMAN能生成细节丰富、与输入图像一致的3D人体纹理。
GeneMAN的技术原理
2D和3D人类先验模型训练：
文本到图像扩散模型：训练一个人类特定的文本到图像扩散模型，用在生成2D人类先验。
视图条件扩散模型：训练一个视图条件扩散模型，用在生成3D人类先验。
几何初始化与雕刻流程：
无模板几何初始化：用NeRF（神经辐射场）技术初始化一个无模板的3D几何形状。
结合先验与损失：结合GeneMAN的2D和3D先验及结构化差异损失（SDS损失）引导几何初始化。
参考损失：用参考损失确保与输入图像的对齐。
高分辨率细化：将NeRF转换为DMTet（深度多面体网格）进行高分辨率的几何细化，由预训练的人类特定的法线和深度适应扩散模型引导。
多空间纹理细化流程：
粗纹理生成：用多视图纹理技术生成粗略的纹理。
潜在空间细化：在潜在空间中迭代细化纹理。
像素空间细化：基于优化UV图在像素空间中获得详细纹理，用基于2D先验的ControlNet进行优化。
GeneMAN项目介绍
项目官网：roooooz.github.io/GeneMAN
GitHub仓库：https://github.com/roooooz/GeneMAN（即将开源）
arXiv技术论文：https://arxiv.org/pdf/2411.18624
GeneMAN能做什么？
虚拟试衣：用户上传自己的全身照片，生成3D模型，用于在线试穿服装，提供更真实的试衣体验。
游戏和娱乐：在游戏和电影制作中，创建或修改角色模型，提供更个性化和逼真的角色设计。
增强现实（AR）和虚拟现实（VR）：在AR和VR应用中，生成用户的3D化身，提高沉浸感和交互性。
时尚设计：设计师快速将设计草图转换成3D模型，加速设计流程。
健身和健康管理：基于分析用户的3D模型，提供个性化的健身指导和健康建议。
© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有，未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
相关文章
-
CHANGER是什么？一文让你看懂CHANGER的技术原理、主要功能、应用场景2025-04-05 -
Kiroku是什么？一文让你看懂Kiroku的技术原理、主要功能、应用场景2025-04-05
-
Vision Search Assistant是什么？一文让你看懂Vision Search Assistant的技术原理、主要功能、应用场景2025-04-05
-
MVDrag3D是什么？一文让你看懂MVDrag3D的技术原理、主要功能、应用场景2025-04-05
-
Chonkie是什么？一文让你看懂Chonkie的技术原理、主要功能、应用场景2025-04-05
-
MSQA是什么？一文让你看懂MSQA的技术原理、主要功能、应用场景2025-04-05
卓商AI
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
最新发布
1
2
3
4
5
6
7
8
9
10
猜你喜欢
Agent Zero
Agent Zero是一个高度透明、可读、可理解、可定制和交互式的个人AI框架。它不是为特定任务预编程的，而是设计为通用的个人助手，能够执行命令和代码...
LearnFast.ai
LearnFast.ai 是一款面向物理学习者的智能AI解答平台，它利用先进的GPT-4o API，能够理解复杂的文字、图像并进行逻辑计算，为学生、教...
Toivo
Toivo是一个旨在帮助用户管理和优化日程安排的网站，通过将复杂的任务分解成可管理的部分，使用户能够更有效地规划和执行日常任务。产品背景信息显示，To...
ai group cards
AI组卡是一个数字平台，可让您使用AI技术创建个性化的组卡。它非常适合人力资源团队，办公室经理以及任何想为生日，告别，周年纪念日和其他庆祝活动创建令人...
ManiWAV
ManiWAV是一个研究项目，旨在通过野外的音频和视觉数据学习机器人操控技能。它通过收集人类演示的同步音频和视觉反馈，并通过相应的策略接口直接从演示中...
inncivio
inncivio是一个利用人工智能技术，为企业提供个性化教育内容的平台，旨在增强团队成员的技能。平台通过AI创建基于公司知识库的个性化课程，同时融入游...
Unified-IO 2
Unified-IO 2是一个统一的多模态生成模型,能够理解和生成图像、文本、音频和动作。它使用单个编码器-解码器Transformer模型,将不同模...
赛灵力
赛灵力虚拟数字人工厂致力于 2D 虚拟人、3D 虚拟人、声音克隆等 AI 技术探索和产业应用，为企业、政府、个人提供虚拟数字人 AI 视频创作、个人形...
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
