上一篇
TextDiffuser-2是什么？一文让你看懂TextDiffuser-2的技术原理、主要功能、应用场景
UniEdit是什么？一文让你看懂UniEdit的技术原理、主要功能、应用场景
来源：卓商AI
发布时间：2025-04-05
UniEdit概述简介
UniEdit是由浙江大学、微软研究院和北京大学的开发人员推出的一个创新的视频编辑框架，允许用户在不需要进行模型微调的情况下，对视频的运动和外观进行编辑。该框架的核心优势在于能够同时处理视频的时间维度（如动作变化）和空间维度（如风格化、物体替换、背景修改）的编辑任务。
UniEdit的官网入口
官方项目主页：https://jianhongbai.github.io/UniEdit/
arXiv研究论文：https://arxiv.org/abs/2402.13185
GitHub代码库：https://github.com/JianhongBai/UniEdit（源代码待上线）
UniEdit的功能特性
视频对象动作编辑：UniEdit能够根据文本指令编辑视频中对象的动作。例如，可以将视频中的浣熊弹吉他的动作编辑成吃苹果或招手的动作。
视频风格化：该框架支持对视频进行风格迁移，即用户可以通过文本描述来改变视频的视觉风格，而不需要改变视频中的内容，如将视频转换为油画风格。
视频背景修改：UniEdit允许用户修改更换视频中的背景。例如，可以将视频中的人物置于完全不同的场景中。
视频对象物体替换：UniEdit框架支持刚性和非刚性物体的替换，用户可以替换视频中的静态或动态物体，
无需训练微调：UniEdit不需要额外的训练或微调，大大简化了模型的部署和使用，使得用户可以快速上手进行视频编辑。
UniEdit的工作原理
反演处理（Inversion）：UniEdit首先对输入的视频进行反演处理，将其转换为一个随机噪声表示。这个过程通常涉及到使用预训练的扩散视频生成模型（如 LaVie）的反演过程，通过一系列去噪步骤将视频逐步从噪声状态转换回其原始状态。
生成编辑路径：在反演处理的基础上，UniEdit 使用预训练的 UNet 模型进行去噪步骤，以生成编辑后的视频。该过程是在给定目标文本提示的条件下进行的，以确保生成的视频内容符合用户的编辑意图。
辅助重建分支：为了保留源视频的非编辑内容，UniEdit 引入了一个辅助重建分支。这个分支从相同的逆向噪声开始，但在给定源视频文本提示的条件下进行去噪，以重建原始视频帧。重建过程中的特征被注入到主编辑路径的空间自注意力层中，以保持内容的一致性。
辅助运动参考分支：为了实现运动/动作编辑，UniEdit 引入了辅助运动参考分支，在给定目标文本提示的条件下生成运动特征。这些特征通过时间自注意力层注入到主编辑路径中，以引导视频的运动变化。
内容保留与运动注入：在主编辑路径中，UniEdit 通过替换空间自注意力层的值特征来保留源视频的内容。同时，通过在时间自注意力层中注入运动特征，实现运动的编辑。
空间结构控制：在外观编辑中，UniEdit 通过替换主编辑路径中的空间自注意力层的查询和键特征，来保持源视频的空间结构。这有助于在改变视频风格或外观时，保持物体的布局和位置不变。
文本引导编辑：用户通过提供文本描述来指导视频编辑过程。UniEdit 解析这些文本描述，并将其转化为视频编辑的指导信号，从而实现用户期望的编辑效果。
© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有，未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
相关文章
-
CHANGER是什么？一文让你看懂CHANGER的技术原理、主要功能、应用场景2025-04-05 -
Kiroku是什么？一文让你看懂Kiroku的技术原理、主要功能、应用场景2025-04-05
-
Vision Search Assistant是什么？一文让你看懂Vision Search Assistant的技术原理、主要功能、应用场景2025-04-05
-
MVDrag3D是什么？一文让你看懂MVDrag3D的技术原理、主要功能、应用场景2025-04-05
-
Chonkie是什么？一文让你看懂Chonkie的技术原理、主要功能、应用场景2025-04-05
-
MSQA是什么？一文让你看懂MSQA的技术原理、主要功能、应用场景2025-04-05
卓商AI
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
最新发布
1
2
3
4
5
6
7
8
9
10
猜你喜欢
surgegraph
SugerGraph是AI SEO内容平台，可帮助您在几分钟内研究，写作和优化SEO内容。在提高内容质量的同时，缩短了您的内容创建时间，所有这些都具有...
GPTRiddle
GPTRiddle是一个基于GPT-3的逃脱游戏网站。用户可以在与AI智能对话中寻找蛛丝马迹,解开谜题获取密码破关。该网站提供智能、有趣的游戏体验,训...
Hue
Hue是一个个性化的助手，旨在帮助用户更好地管理电子邮件。它像一个组织有序的好朋友，帮助用户保持电子邮件的有序和高效。Hue的背景信息显示，它是一个正...
dewstack
DeWstack是一种文档解决方案，可帮助您提高用户体验。工艺，管理和托管智能文档，这些文档是专门设计用于实时响应用户查询的智能文档。增强用户参与度并...
tak.chat
tak.chat是一个集成到电子商务商店的智能助手，通过实时数据连接，提供产品和订单信息，增强客户沟通体验。它具备实时响应客户查询、实时同步产品详情、...
Chatsimple
ChatSimple是一个定制的AI聊天机器人平台，让您能够在不到5分钟的时间内设置自己的聊天机器人。它使用您的网站内容进行训练，提供24/7的客户交...
iGOT.ai
iGOT.ai是一个零编码GPT开发平台,可帮助用户无需编程就可以构建、定义、探索和执行GPT模型,从而简化AI引擎的创建。它提供了一个直观的界面,用...
Watzie
Watzie是一款利用人工智能技术的健康数据交流应用。它采用最新的机器学习技术，旨在帮助用户理解其健康数据并做出更好的决策。Watzie注重隐私保护，...
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
