GAS是什么?一文让你看懂GAS的技术原理、主要功能、应用场景

来源:卓商AI
发布时间:2025-04-05

GAS概述简介

GAS(Generative Avatar Synthesis from a Single Image)是卡内基梅隆大学、上海人工智能实验室和斯坦福大学的开发人员提出的从单张图像生成高质量、视角一致且时间连贯虚拟形象的框架。GAS的核心在于结合了回归型3D人体重建模型和扩散模型的优势。基于3D人体重建模型从单张图像生成中间视角或姿态,将其作为条件输入视频扩散模型,实现高质量的视角一致性和时间连贯性。框架引入了“模式切换器”,用于区分视角合成和姿态合成任务,进一步提升生成效果。

GAS的功能特色

视角一致的多视角合成:从单张图像生成高质量的多视角渲染,确保不同视角下的外观和结构一致性。

时间连贯的动态姿态动画:通过给定的姿态序列,生成流畅且真实的非刚性形变动画,实现动态姿态的连贯性。

统一框架与泛化能力:将视角合成和姿态合成任务统一,通过共享模型参数和利用大规模真实数据(如网络视频)进行训练,提升模型对真实场景的泛化能力。

密集外观提示:基于3D重建模型生成的密集信息作为条件输入,确保生成结果在外观和结构上的高保真度。

GAS的技术原理

3D人体重建与密集条件信号:GAS首先基于回归型3D人体重建模型(如单视角通用人类NeRF)从输入图像生成中间的视角或姿态。通过将输入图像映射到规范空间并重新定位,生成密集的外观提示。这些密集信息作为条件输入,为后续的扩散模型提供了丰富的细节和结构信息,确保生成结果的高质量和一致性。

视频扩散模型与统一框架:生成的中间视角或姿态被用作视频扩散模型的条件输入,通过扩散模型生成高质量的视角一致性和时间连贯性动画。GAS提出了统一框架,将视角合成和姿态合成任务合并,共享模型参数,实现从姿态合成到视角合成的自然泛化。

模式切换器:为了区分视角合成和姿态合成任务,GAS引入了模式切换器模块。模块支持网络在生成视角时专注于一致性,在生成姿态时专注于真实感变形。

真实世界数据的泛化能力:GAS通过结合大规模真实世界视频(如网络视频)进行训练,显著提升了对真实场景的泛化能力。数据来源的多样性使得模型能够适应各种光照、服装和动作条件。

训练与推理:GAS的训练分为两个阶段:首先训练3D人体重建模型,然后冻结该模型并训练视频扩散模型。推理时,根据任务性质(视角合成或姿态合成)采用不同的分类器自由引导(CFG)策略。

GAS项目介绍

项目官网:https://humansensinglab.github.io/GAS/

arXiv技术论文:https://arxiv.org/pdf/2502.06957

GAS能做什么?

游戏和虚拟现实(VR):GAS可以从单张图像生成高质量的虚拟形象,支持多视角和动态姿态的连贯合成。

影视制作:在影视特效和动画制作中,GAS能快速生成逼真的虚拟角色,减少传统建模和动画制作的时间和成本。

体育和健身:通过从单张图像生成动态虚拟形象,GAS可用于创建个性化的运动动画,帮助运动员分析动作或用于健身应用中。

时尚和服装设计:GAS能生成不同姿态和视角的虚拟形象,帮助设计师快速预览服装效果,提升设计效率。

© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有,未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
卓商AI
卓商AI

AI爱好者的一站式人工智能AI工具箱,累计收录全球10,000⁺好用的AI工具软件和网站,方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用,力争做全球排名前三的AI网址导航网站,欢迎您成为我们的一员。

猜你喜欢
  • Copilot Lab
    Copilot Lab Copilot Lab是微软推出的一个在线平台,旨在展示和教育用户如何使用Microsoft Copilot的智能辅助功能。Copilot通过集成到常...
  • Artedge AI
    Artedge AI Artedge AI是一个提供前沿AI工具的平台,旨在提升用户的创意过程。平台提供AI艺术生成器和AI亲吻生成器等工具,以快速生成高分辨率、高质量的艺...
  • murf
    murf MURF是在几分钟内创建令人惊叹的工作室质量声音Overs的理想AI语音生成器。 MURF利用了支持AI支持的真实人的声音,可以轻松地快速创建出色的音...
  • autodraw
    autodraw AutoDraw是AI快速绘图工具,非常适合所有人。 AutodRaw的建议工具利用相同的技术使用高级算法来准确猜测您的预期绘图。立即使用AutoDr...
  • predis
    predis Predis.ai将Chatgpt,Canva和Hootsuite的力量融合到一个强大的平台中。用精简的AI创建和共享视频,旋转木马和单张图像帖子,所...
  • shulex
    shulex 体验与Shulex客户参与的未来:通过利用#1 Chatgpt工具,Shulex不仅可以帮助您深入了解目标受众的购买动机,优点和缺点,而且还将这些见解...
  • noteX
    noteX noteX是一款AI驱动的智能笔记应用,提供智能组织和安全私密的笔记体验。它由Google Gemini Pro提供技术支持,通过AI功能增强笔记效率...
  • 腾讯云 AI 代码助手
    腾讯云 AI 代码助手 腾讯云 AI 代码助手是由腾讯云自研的一款开发编程提效辅助工具,提供基于混元代码大模型的技术对话、代码补全、代码诊断和优化等能力,帮助开发者生成优质代...