GAS是什么?一文让你看懂GAS的技术原理、主要功能、应用场景

来源:卓商AI
发布时间:2025-04-05

GAS概述简介

GAS(Generative Avatar Synthesis from a Single Image)是卡内基梅隆大学、上海人工智能实验室和斯坦福大学的开发人员提出的从单张图像生成高质量、视角一致且时间连贯虚拟形象的框架。GAS的核心在于结合了回归型3D人体重建模型和扩散模型的优势。基于3D人体重建模型从单张图像生成中间视角或姿态,将其作为条件输入视频扩散模型,实现高质量的视角一致性和时间连贯性。框架引入了“模式切换器”,用于区分视角合成和姿态合成任务,进一步提升生成效果。

GAS的功能特色

视角一致的多视角合成:从单张图像生成高质量的多视角渲染,确保不同视角下的外观和结构一致性。

时间连贯的动态姿态动画:通过给定的姿态序列,生成流畅且真实的非刚性形变动画,实现动态姿态的连贯性。

统一框架与泛化能力:将视角合成和姿态合成任务统一,通过共享模型参数和利用大规模真实数据(如网络视频)进行训练,提升模型对真实场景的泛化能力。

密集外观提示:基于3D重建模型生成的密集信息作为条件输入,确保生成结果在外观和结构上的高保真度。

GAS的技术原理

3D人体重建与密集条件信号:GAS首先基于回归型3D人体重建模型(如单视角通用人类NeRF)从输入图像生成中间的视角或姿态。通过将输入图像映射到规范空间并重新定位,生成密集的外观提示。这些密集信息作为条件输入,为后续的扩散模型提供了丰富的细节和结构信息,确保生成结果的高质量和一致性。

视频扩散模型与统一框架:生成的中间视角或姿态被用作视频扩散模型的条件输入,通过扩散模型生成高质量的视角一致性和时间连贯性动画。GAS提出了统一框架,将视角合成和姿态合成任务合并,共享模型参数,实现从姿态合成到视角合成的自然泛化。

模式切换器:为了区分视角合成和姿态合成任务,GAS引入了模式切换器模块。模块支持网络在生成视角时专注于一致性,在生成姿态时专注于真实感变形。

真实世界数据的泛化能力:GAS通过结合大规模真实世界视频(如网络视频)进行训练,显著提升了对真实场景的泛化能力。数据来源的多样性使得模型能够适应各种光照、服装和动作条件。

训练与推理:GAS的训练分为两个阶段:首先训练3D人体重建模型,然后冻结该模型并训练视频扩散模型。推理时,根据任务性质(视角合成或姿态合成)采用不同的分类器自由引导(CFG)策略。

GAS项目介绍

项目官网:https://humansensinglab.github.io/GAS/

arXiv技术论文:https://arxiv.org/pdf/2502.06957

GAS能做什么?

游戏和虚拟现实(VR):GAS可以从单张图像生成高质量的虚拟形象,支持多视角和动态姿态的连贯合成。

影视制作:在影视特效和动画制作中,GAS能快速生成逼真的虚拟角色,减少传统建模和动画制作的时间和成本。

体育和健身:通过从单张图像生成动态虚拟形象,GAS可用于创建个性化的运动动画,帮助运动员分析动作或用于健身应用中。

时尚和服装设计:GAS能生成不同姿态和视角的虚拟形象,帮助设计师快速预览服装效果,提升设计效率。

© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有,未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
卓商AI
卓商AI

AI爱好者的一站式人工智能AI工具箱,累计收录全球10,000⁺好用的AI工具软件和网站,方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用,力争做全球排名前三的AI网址导航网站,欢迎您成为我们的一员。

猜你喜欢
  • Spread Positivity Today
    Spread Positivity Today Spread Positivity Today是一款基于AI技术的定制感谢卡产品。用户可以通过Spread Positivity Today制作个性化...
  • Real Or AI
    Real Or AI Real Or AI通过高质量的人工智能生成照片,提供独特的照片辨别游戏体验。用户可以在真实照片和AI生成照片中进行选择,从中测试并提升自己的判断能力...
  • Ask Abe
    Ask Abe Ask Abe是一个智能法律教育助手,通过对话式人工智能的方式帮助普通公民理解法律和权益,提供快速准确的法律信息查询,简化复杂的传统法律学习方法。...
  • We Prompt
    We Prompt WePrompt是一个AI创作助手,通过使用AI模型,可以帮助用户快速生成各种创意,包括文案、设计、音乐、编程等。它提供丰富的功能,包括生成创意文本、...
  • Kaedim
    Kaedim Kaedim是您专属的个人3D艺术家。只需使用基本图像,即可创建质感完美的3D模型。一键从2D到3D!...
  • Ramp
    Ramp Ramp Intelligence是未来366领域的人工智能产品,为团队提供时间和金钱的节省,发现商机,降低业务成本等功能。产品定价请参考官方网站。...
  • HypeIndex Ai
    HypeIndex Ai HypeIndex是股票交易领域中的一个重要工具,通过简化新闻研究、提供即时新闻报告和支持明智决策,帮助交易者和投资者保持市场变化的领先地位。...
  • Chatsimple
    Chatsimple ChatSimple是一个定制的AI聊天机器人平台,让您能够在不到5分钟的时间内设置自己的聊天机器人。它使用您的网站内容进行训练,提供24/7的客户交...