上一篇
LaTRO是什么？一文让你看懂LaTRO的技术原理、主要功能、应用场景
ReCapture是什么？一文让你看懂ReCapture的技术原理、主要功能、应用场景
来源：卓商AI
发布时间：2025-04-05
ReCapture概述简介
ReCapture是谷歌和新加坡国立大学推出的视频处理技术，能从单一用户提供的视频中生成具有新相机轨迹的新视频。ReCapture用多视图扩散模型或基于深度的点云渲染生成带有新相机轨迹的噪声锚视频，采用掩码视频微调技术，将锚视频转换成干净、时间一致的重新角度化视频，保留原始视频中的场景运动，从新角度展现场景。ReCapture能合理地想象出原始视频中不可见的场景部分。
ReCapture的功能特色
生成新视角视频：从一个用户提供的源视频中生成具有全新相机轨迹的视频，支持从不同角度观察同一场景。
保留原有场景运动：在生成新视角视频的同时，保留源视频中的所有现有场景运动。
电影级相机运动：模拟电影级别的相机运动，如缩放、平移和倾斜，增强视频的视觉效果。
场景补全：合理地想象并补全源视频中不可见的场景部分，增强视频内容的完整性。
提高视频质量：基于掩码视频微调技术，将带有噪声的锚视频转换成干净、时间一致的高质量视频。
ReCapture的技术原理
锚视频生成：
深度估计与点云渲染：基于逐帧深度估计，将视频帧转换为3D点云序列，根据用户指定的相机运动模拟新视角，渲染点云序列以生成新的视频帧。
多视图扩散模型：对于更复杂的相机轨迹（如围绕场景中某点的轨道），用多视图扩散模型来生成新视角的视频帧。
掩码视频微调：
时间LoRA（低秩适应）：在掩码锚视频上微调时间LoRA学习场景动态，关注于学习锚视频中有意义的像素部分，忽略未知区域。
空间LoRA：在源视频的增强帧上微调空间LoRA学习场景的外观，确保填补的像素与原视频像素无缝融合。
视频模型的强先验：用视频模型的强先验知识，在掩码区域自动填充合理内容，显著提高视频的时间一致性，消除锚视频中的抖动。
ReCapture项目介绍
项目官网：generative-video-camera-controls.github.io
arXiv技术论文：https://arxiv.org/pdf/2411.05003
ReCapture能做什么？
电影和视频制作：电影制作人重新编辑和调整已拍摄的视频，改变原有的相机角度和运动，用创造新的视觉效果或改进场景构图。
视频编辑和后期制作：视频编辑者修正或增强视频内容，例如，改变相机视角突出视频中的关键元素或消除不想要的背景。
虚拟现实（VR）和增强现实（AR）：在VR和AR应用中，生成更加沉浸式和互动式的视频内容，提供从不同视角观察场景的能力。
新闻和纪录片：记者和纪录片制作者重现事件，从多个角度展示新闻故事或历史事件，增加报道的深度和维度。
体育赛事直播：体育赛事的直播提供更多的视角，让观众从不同的相机角度体验比赛，增强观赛体验。
© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有，未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
相关文章
-
CHANGER是什么？一文让你看懂CHANGER的技术原理、主要功能、应用场景2025-04-05 -
Kiroku是什么？一文让你看懂Kiroku的技术原理、主要功能、应用场景2025-04-05
-
Vision Search Assistant是什么？一文让你看懂Vision Search Assistant的技术原理、主要功能、应用场景2025-04-05
-
MVDrag3D是什么？一文让你看懂MVDrag3D的技术原理、主要功能、应用场景2025-04-05
-
Chonkie是什么？一文让你看懂Chonkie的技术原理、主要功能、应用场景2025-04-05
-
MSQA是什么？一文让你看懂MSQA的技术原理、主要功能、应用场景2025-04-05
卓商AI
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
最新发布
1
2
3
4
5
6
7
8
9
10
猜你喜欢
Grok 3
Grok 3是由Elon Musk的AI公司xAI开发的最新旗舰AI模型。它在计算能力和数据集规模上显著提升，能够处理复杂的数学、科学问题，并支持多模...
CustomFit.ai
CustomFit.ai是一个为市场营销人员设计的无代码平台，用于A/B测试、个性化和弹窗。它能够轻松地在任何页面上运行A/B测试，识别出最能推动销售...
nova a i
Nova A.I为各个级别的用户提供了直观的，AI驱动的视频编辑体验。 Nova的自动编辑功能可节省您的时间和麻烦，因此您可以比以往任何时候都更快地制...
陌生人闹钟
陌生人闹钟是一个创新的移动应用程序，它通过每天早晨用一个随机陌生人的温柔声音唤醒用户，来打破常规思维的界限，创造人与人之间的连接。这个应用不仅提供了一...
觅识AI社区
觅识AI社区是一个专注于人工智能与产品管理领域的知识社区，提供AI产品管理的相关知识体系和研发产品用例。社区成员有机会成为超级个体和一人公司。可通过邮...
ink with ai
用AI在线设计个性化纹身。直观的AI工具会带您完成每一步。只需解释您的设计想法，然后在几分钟内创建您的梦想纹身即可。立即尝试并将您的想法转变为独特的艺...
Devi
Devi监测Facebook群组、LinkedIn、Twitter和Reddit中的关键词，并使用ChatGPT或Bard进行沟通以达成交易。Devi...
OSLAW
OSLAW是一个综合性的法律信息服务平台，提供包括合同审查、尽职调查、知识产权查询、行政处罚查询等在内的多项法律服务。它通过整合各类法律资源，帮助用户...
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
