PortraitGen是什么?一文让你看懂PortraitGen的技术原理、主要功能、应用场景

来源:卓商AI
发布时间:2025-04-05

PortraitGen概述简介

PortraitGen是中国科学技术大学研究团队推出的一款AI人像视频编辑工具。基于3D高斯溅射技术和神经高斯纹理机制,将2D人像视频转换为4D高斯场,实现高质量的3D和时间一致性编辑。工具支持多模态编辑,包括文本驱动、图像驱动编辑以及重新照明,能快速、高效地对视频中的人物进行风格化、换衣、光照调整等操作。通过面部感知编辑和表达式相似性指导,PortraitGen确保编辑后的肖像自然且与原始视频帧保持一致性。

PortraitGen的功能特色

多模态人像编辑:支持文本驱动和图像驱动两种编辑模式,用户可以通过输入文字描述来指定人物的动作、表情以及场景的变化,或者用参考图像来实现风格转换或进行虚拟试穿等操作 。

光照调节(Relighting):基于IC-Light技术,基于文本描述动态调整视频中的光照效果,使光照与场景自然融合 。

人脸感知编辑:通过面部感知编辑模块,确保在视频编辑过程中,保留人物的面部结构和个性化特征,优化人物的表情和面部动作的自然性和一致性 。

风格转换与虚拟试穿:支持风格转换和虚拟试穿,用户可以通过参考图像实现全局风格的迁移(如转换为动画风格),或为视频中的人物添加虚拟服装等物品 。

多镜头和复杂场景处理:能处理多镜头视频,保持风格、人物一致性,可以通过高斯纹理技术实现复杂风格的视频渲染,如乐高风格或像素艺术风格 。

快速生成与高帧率输出:能在短时间内完成编辑,生成视频时支持高达100帧每秒(FPS)的渲染速度,适合用于高效视频制作场景 。

PortraitGen的技术原理

3D高斯溅射(3DGS):基于3D高斯表示场景,通过3D协方差矩阵定义每个高斯的中心点、方向和大小,及不透明度和颜色属性,实现动态3D场的构建。

神经高斯纹理机制:在SMPL-X模型的UV空间上维护一个3D高斯场,根据输入视频跟踪的底层网格变形来变形高斯,用UV映射和2D神经渲染器将特征图转换为RGB信号。

面部感知编辑模块:对头部区域进行两次编辑,增强面部结构感知,提高编辑质量。

表达式相似性指导:将渲染图像和输入源图像映射到EMOCA的潜在表达式空间,用损失函数确保表情的相似性。

多模态编辑技术:结合大规模2D生成模型的知识,实现文本驱动编辑、图像驱动编辑和重新照明。

PortraitGen项目介绍

项目官网:ustc3dv.github.io/PortraitGen

GitHub仓库:https://github.com/USTC3DV/PortraitGen-code

arXiv技术论文:https://arxiv.org/pdf/2409.13591

PortraitGen能做什么?

电影和影视制作:在电影、电视剧或短片制作中,创建或修改角色的外貌,实现特效化妆或风格化的场景转换。

艺术创作:艺术家和插画师用 PortraitGen 创作具有特定风格的人像艺术作品,如将肖像转换为像素艺术或油画风格。

广告和宣传:在广告行业中,根据品牌形象或产品特点,对人物肖像进行定制化编辑,吸引目标受众。

时尚行业:时尚设计师和零售商基于虚拟试穿功能,在虚拟环境中展示服装和配饰,为客户提供新的购物体验。

社交媒体和短视频:内容创作者和影响者用 PortraitGen 编辑自己的肖像视频,增加创意效果,提高内容的吸引力和互动性。

游戏开发:在游戏角色设计中,快速生成或编辑角色的外貌,提高游戏的个性化和丰富性。

© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有,未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
卓商AI
卓商AI

AI爱好者的一站式人工智能AI工具箱,累计收录全球10,000⁺好用的AI工具软件和网站,方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用,力争做全球排名前三的AI网址导航网站,欢迎您成为我们的一员。

猜你喜欢
  • ReviewHawk
    ReviewHawk ReviewHawk是一个专注于分析应用商店评论的工具,旨在帮助企业降低用户流失率,获取用户反馈,从而改善产品。它通过数据驱动的决策和用户满意度分析,...
  • tweet hunter
    tweet hunter Tweet Hunter是增加Twitter受众并获利的理想工具。凭借与有影响力者找到和启动对话的功能,您可以快速用目标内容构建关注者。通过与合适的人...
  • gmft
    gmft gmft是一个用于将PDF中的表格转换为多种格式的工具包。它轻量级、模块化且性能优越。gmft依赖于微软的Table Transformers,这是众...
  • leo ai
    leo ai Leo™是世界上第一个工程设计的副词,使工程师和设计师能够在几秒钟内将创意变成产品。 Leo的生成AI平台将文本,草图,规格和CAD约束转换为DFMA...
  • 豆包桌面 AI 助手
    豆包桌面 AI 助手 豆包桌面 AI 助手是一款集成了多种 AI 功能的桌面应用程序,豆包电脑版客户端旨在提升用户的工作和学习效率。它通过 AI 划词翻译、搜索、AI 伴读...
  • tldraw computer
    tldraw computer tldraw computer是一个实验性项目,由tldraw团队开发,旨在提供一个无限的画布,用户可以在上面创建连接组件的工作流,以生成和转换数据。...
  • LazyGraphRAG
    LazyGraphRAG LazyGraphRAG是微软研究院开发的一种新型图谱增强型检索增强生成(RAG)模型,它不需要预先对源数据进行总结,从而避免了可能让一些用户和用例望...
  • Danswer
    Danswer Danswer是一款开源的人工智能搜索引擎,能够快速在公司文档、应用和人员中搜索所需信息。它支持在云端自助部署,还可以通过自定义AI助手在团队中使用。...