上一篇
CLEAR是什么？一文让你看懂CLEAR的技术原理、主要功能、应用场景
DisPose是什么？一文让你看懂DisPose的技术原理、主要功能、应用场景
来源：卓商AI
发布时间：2025-04-05
DisPose概述简介
DisPose是北京大学、中国科学技术大学、清华大学和香港科技大学的研究团队一起推出的，提高人物图像动画质量的控制技术，基于从骨骼姿态和参考图像中提取有效的控制信号，无需额外的密集输入。DisPose将姿态控制分解为运动场引导和关键点对应，生成密集运动场以提供区域级引导，同时保持对不同体型的泛化能力。DisPose包括一个即插即用的混合ControlNet，能改善现有模型生成视频的质量和一致性。
DisPose的功能特色
运动场引导：从骨骼姿态生成密集运动场，提供区域级的密集引导，增强视频生成中的动作一致性。
关键点对应：提取与参考图像中姿态关键点对应的扩散特征，将扩散特征转移到目标姿态，保持身份信息的一致性。
即插即用模块：作为插件模块，支持无缝集成到现有的人物图像动画模型中，无需修改现有模型参数。
质量与一致性提升：混合ControlNet改善生成视频的质量和外观一致性。
无需额外密集输入：在不依赖于额外密集输入（如深度图）的情况下工作，减少对参考角色和驱动视频之间身体形状差异的敏感性。
DisPose的技术原理
运动场估计：
稀疏运动场：DWpose估计骨骼姿态，基于关键点追踪运动位移，表示为轨迹图。
密集运动场：条件运动传播（CMP）基于稀疏运动场和参考图像预测密集运动场，提供更细致的运动信号。
关键点特征提取：用预训练的图像扩散模型提取参考图像的DIFT特征，并将这些特征与关键点对应起来，形成关键点特征图。
混合ControlNet：设计了混合ControlNet，在训练期间更新，不需要冻结现有模型的其他部分，便于将运动场引导和关键点对应无缝集成到现有动画模型中。
特征融合：
基于特征融合层将稀疏和密集运动特征结合起来，生成最终的运动场引导信号。
基于多尺度点编码器将关键点特征与U-Net编码器的中间特征相结合，增强特征的语义对应。
控制信号集成：将运动场引导和关键点对应作为额外的控制信号，注入到潜在的视频扩散模型中，生成准确的人物图像动画。
DisPose项目介绍
项目官网：lihxxx.github.io/DisPose
GitHub仓库：https://github.com/lihxxx/DisPose
arXiv技术论文：https://arxiv.org/pdf/2412.09349
DisPose能做什么？
艺术创作：艺术家创作出具有特定动作和表情的动态艺术作品，如动态绘画和数字雕塑。
社交媒体：在社交媒体平台上，生成个性化的动态头像或者动态表情，增加互动的趣味性。
数字人和虚拟偶像：创建和控制虚拟角色的动作和表情，应用于直播、视频会议或者作为虚拟偶像进行表演。
电影制作：在电影后期制作中，生成或修改角色的动作，提高制作效率。
虚拟现实（VR）和增强现实（AR）：在VR和AR应用中，生成与用户互动的虚拟角色，提供更加自然和逼真的互动体验。
© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有，未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
相关文章
-
CHANGER是什么？一文让你看懂CHANGER的技术原理、主要功能、应用场景2025-04-05 -
Kiroku是什么？一文让你看懂Kiroku的技术原理、主要功能、应用场景2025-04-05
-
Vision Search Assistant是什么？一文让你看懂Vision Search Assistant的技术原理、主要功能、应用场景2025-04-05
-
MVDrag3D是什么？一文让你看懂MVDrag3D的技术原理、主要功能、应用场景2025-04-05
-
Chonkie是什么？一文让你看懂Chonkie的技术原理、主要功能、应用场景2025-04-05
-
MSQA是什么？一文让你看懂MSQA的技术原理、主要功能、应用场景2025-04-05
卓商AI
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
最新发布
1
2
3
4
5
6
7
8
9
10
猜你喜欢
storymania ai story generator
与AI -Power的平台与Storymania进行工艺吸引人的故事，旨在协助各个级别的作家。在干净，无广告的环境中享受无缝的编辑和类型定制。在创纪录...
aibooktools
使用Aibooktools，您可以将书籍快速转化为可行的见解 - 所有这些都没有长时间的阅读或手动数据输入。凭借AI的力量，您可以充分利用自己喜欢的书...
Exponent
Exponent 是一款协作式 AI 编程代理，旨在提升软件开发的效率与体验。它能够在多种环境中工作，从代码的探索到部署，能够帮助开发者自动化复杂的编...
Baklib
Baklib 是一款 All in Content 的企业级云平台，帮助企业一站式管理数字内容，实现多场景的数字体验。它采用独特的三层架构，将资源库、...
C4AI CommandR 08-2024
C4AI Command R 08-2024是由Cohere和Cohere For AI开发的35亿参数大型语言模型，专为推理、总结和问答等多种用例优...
Whisper
Whisper 是一个通用的语音识别模型。它经过大量多样化音频的训练，并且是一个多任务模型，可以进行多语言语音识别、语音翻译和语种识别。...
Comfyui_Object_Migration
Comfyui_Object_Migration是一个实验性项目，专注于Stable Diffusion (SD)模型。该项目通过使用DIT模型的自注...
AI Cover Letter Creator
AI求职助手是一款使用人工智能技术生成个性化求职信的工具。用户只需提供自己的简历和职位描述，AI求职助手将自动生成定制的求职信。该工具提供方便快捷的方...
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
