LeviTor是什么?一文让你看懂LeviTor的技术原理、主要功能、应用场景

来源:卓商AI
发布时间:2025-04-05

LeviTor概述简介

LeviTor是南京大学、蚂蚁集团、浙江大学等机构推出的图像到视频合成技术,结合深度信息和K-means聚类点控制视频中3D物体的轨迹,无需显式的3D轨迹跟踪。LeviTor用高质量的视频对象分割数据集进行训练,有效捕捉复杂场景中的物体运动和交互,基于用户友好的推理流程简化3D轨迹输入,让视频生成技术更加先进和易用。LeviTor的引入为3D物体轨迹控制铺平道路,拓宽创意应用范围,适用于更广泛的用户群体。

LeviTor的功能特色

精确操控物体运动:在从静态图像生成视频时,精确控制物体的运动轨迹。

增强创意应用:基于3D轨迹控制,拓宽视频合成的创意应用范围。

简化用户输入:用户用简单的2D图像上的绘制和深度调整输入3D轨迹,降低技术门槛。

自动提取深度信息和物体掩码:系统自动从图像中提取深度信息和物体掩码,减少用户操作。

交互式轨迹绘制:用户交互式地绘制物体轨迹,系统将其解释为3D路径。

LeviTor的技术原理

K-means聚类:对视频对象掩码(mask)的像素进行K-means聚类,得到一组代表性的控制点。

深度信息融合:深度估计网络DepthAnythingV2预测相对深度图,并在每个控制点采样深度,为控制点增添深度信息。

控制信号构建:结合2D坐标和估计的深度值,构建控制轨迹,轨迹作为视频扩散模型的控制信号。

视频扩散模型:将控制信号输入到视频扩散模型中,生成与3D轨迹对齐的视频。

用户友好的推理流程:设计用户友好的交互系统,用户用点击和调整深度值输入3D轨迹。

LeviTor项目介绍

项目官网:ppetrichor.github.io/levitor

GitHub仓库:https://github.com/qiuyu96/LeviTor

HuggingFace模型库:https://huggingface.co/hlwang06/LeviTor

arXiv技术论文:https://arxiv.org/pdf/2412.15214

LeviTor能做什么?

电影特效制作:生成逼真的特效场景,减少实地拍摄成本,提高制作效率。

游戏动画生成:在游戏开发中,创造动态的游戏背景和角色动画,增强游戏的沉浸感。

虚拟现实体验:在VR应用中合成逼真的虚拟环境,为用户提供更加真实的沉浸式体验。

增强现实展示:在AR领域将虚拟信息与现实世界无缝结合,用在教育、导航等场景。

广告视频制作:制作动态广告视频,吸引观众注意力,提升品牌形象和产品吸引力。

© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有,未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
卓商AI
卓商AI

AI爱好者的一站式人工智能AI工具箱,累计收录全球10,000⁺好用的AI工具软件和网站,方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用,力争做全球排名前三的AI网址导航网站,欢迎您成为我们的一员。

猜你喜欢
  • ComfyUI-GGUF
    ComfyUI-GGUF ComfyUI-GGUF是一个为ComfyUI原生模型提供GGUF量化支持的项目。它允许模型文件以GGUF格式存储,这种格式由llama.cpp推广。...
  • digen
    digen Digen天生是为了打破这些障碍。我们设想一个世界,每个人都可以拥有一个能够实现视频中难以想象的数字双胞胎。加入我们,开始使用真实动作生成您的真实视频...
  • Aicotravel
    Aicotravel Aicotravel 是一款 AI 旅行行程规划工具,通过智能算法和数据分析,为用户提供个性化的旅行行程规划。用户可以根据自己的出行需求,输入旅行目的...
  • AI Video Editing | Clipchamp
    AI Video Editing | Clipchamp Clipchamp AI视频编辑是一个使用AI技术增强视频编辑的工具。它包含自动合成、语音转文字、AI音频增强等功能,可以轻松创建各种类型的短视频。C...
  • Essai
    Essai Essai是一款基于AI技术的无代码网站建设平台,用户只需提供网站描述,即可在几分钟内生成整个网站,支持AI辅助内容和设计,秒速生成整个网站模块,支持...
  • Wordware
    Wordware Wordware是一个集成了自然语言编程(NLP)的在线开发环境,它允许用户通过自然语言指令来开发、迭代和部署AI代理。Wordware结合了软件的最...
  • hitpaw photo enhancer
    hitpaw photo enhancer 使用Hitpaw Photo Enhancer转换您的照片,这是领先的AI增强工具,可改善图像质量和分辨率。告别图像模糊,并向您打招呼,只需单击一次,...
  • Datalab.to
    Datalab.to Datalab 的 AI For Document Intelligence 是一系列用于文档智能处理的AI模型,包括OCR、布局分析、PDF转Mar...