GAS是什么?一文让你看懂GAS的技术原理、主要功能、应用场景

来源:卓商AI
发布时间:2025-04-05

GAS概述简介

GAS(Generative Avatar Synthesis from a Single Image)是卡内基梅隆大学、上海人工智能实验室和斯坦福大学的开发人员提出的从单张图像生成高质量、视角一致且时间连贯虚拟形象的框架。GAS的核心在于结合了回归型3D人体重建模型和扩散模型的优势。基于3D人体重建模型从单张图像生成中间视角或姿态,将其作为条件输入视频扩散模型,实现高质量的视角一致性和时间连贯性。框架引入了“模式切换器”,用于区分视角合成和姿态合成任务,进一步提升生成效果。

GAS的功能特色

视角一致的多视角合成:从单张图像生成高质量的多视角渲染,确保不同视角下的外观和结构一致性。

时间连贯的动态姿态动画:通过给定的姿态序列,生成流畅且真实的非刚性形变动画,实现动态姿态的连贯性。

统一框架与泛化能力:将视角合成和姿态合成任务统一,通过共享模型参数和利用大规模真实数据(如网络视频)进行训练,提升模型对真实场景的泛化能力。

密集外观提示:基于3D重建模型生成的密集信息作为条件输入,确保生成结果在外观和结构上的高保真度。

GAS的技术原理

3D人体重建与密集条件信号:GAS首先基于回归型3D人体重建模型(如单视角通用人类NeRF)从输入图像生成中间的视角或姿态。通过将输入图像映射到规范空间并重新定位,生成密集的外观提示。这些密集信息作为条件输入,为后续的扩散模型提供了丰富的细节和结构信息,确保生成结果的高质量和一致性。

视频扩散模型与统一框架:生成的中间视角或姿态被用作视频扩散模型的条件输入,通过扩散模型生成高质量的视角一致性和时间连贯性动画。GAS提出了统一框架,将视角合成和姿态合成任务合并,共享模型参数,实现从姿态合成到视角合成的自然泛化。

模式切换器:为了区分视角合成和姿态合成任务,GAS引入了模式切换器模块。模块支持网络在生成视角时专注于一致性,在生成姿态时专注于真实感变形。

真实世界数据的泛化能力:GAS通过结合大规模真实世界视频(如网络视频)进行训练,显著提升了对真实场景的泛化能力。数据来源的多样性使得模型能够适应各种光照、服装和动作条件。

训练与推理:GAS的训练分为两个阶段:首先训练3D人体重建模型,然后冻结该模型并训练视频扩散模型。推理时,根据任务性质(视角合成或姿态合成)采用不同的分类器自由引导(CFG)策略。

GAS项目介绍

项目官网:https://humansensinglab.github.io/GAS/

arXiv技术论文:https://arxiv.org/pdf/2502.06957

GAS能做什么?

游戏和虚拟现实(VR):GAS可以从单张图像生成高质量的虚拟形象,支持多视角和动态姿态的连贯合成。

影视制作:在影视特效和动画制作中,GAS能快速生成逼真的虚拟角色,减少传统建模和动画制作的时间和成本。

体育和健身:通过从单张图像生成动态虚拟形象,GAS可用于创建个性化的运动动画,帮助运动员分析动作或用于健身应用中。

时尚和服装设计:GAS能生成不同姿态和视角的虚拟形象,帮助设计师快速预览服装效果,提升设计效率。

© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有,未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
卓商AI
卓商AI

AI爱好者的一站式人工智能AI工具箱,累计收录全球10,000⁺好用的AI工具软件和网站,方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用,力争做全球排名前三的AI网址导航网站,欢迎您成为我们的一员。

猜你喜欢
  • HeAR
    HeAR Health Acoustic Representations (HeAR) 是由谷歌研究团队开发的生物声学基础模型,旨在通过分析人体发出的声音,如咳...
  • Conversagent
    Conversagent Conversagent是一款基于人工智能的Shopify插件,可帮助您提升375水平。它利用最新的GPT4技术,通过生成个性化友好的答案来回应客户的...
  • Microsoft Word
    Microsoft Word Microsoft Word 是一款强大的文字处理软件,它通过智能写作辅助、文档设计和协作工具,帮助用户提升文档处理的效率和质量。Word 提供了丰富...
  • BetterYeah AI
    BetterYeah AI BetterYeah AI Agent是一款企业级AI应用开发平台,专注于构建业务专家级的AI工作助理。内置多种成熟模版,功能强大开箱即用,可快速应用...
  • MikeAI - Personalized AI Fitness Coach
    MikeAI - Personalized AI Fitness Coach MikeAI是你个性化的AI健身教练,为你提供定制的健身计划、饮食计划和健康评估。让我们一起迈向更健康、更健美的生活方式!...
  • gymbuddy
    gymbuddy Gymbuddy AI锻炼计划者使用尖端的AI技术提供个性化和愉快的锻炼程序。我们的创新系统消除了对猜测的需求,因此您可以确信自己可以最大程度地提高健...
  • build chatbot
    build chatbot Build Chatbot是一款尖端的无代码聊天机器人构建机,允许企业和个人创建个性化的AI聊天机器人。它可以快速识别和处理PDF,CSV,DOCX,...
  • multi-agent-concierge
    multi-agent-concierge multi-agent-concierge是一个多代理礼宾系统,它通过多个专门的代理来完成复杂的任务,并通过一个“礼宾”代理来引导用户到正确的代理。这...