上一篇
AgentScope是什么？一文让你看懂AgentScope的技术原理、主要功能、应用场景
LeviTor是什么？一文让你看懂LeviTor的技术原理、主要功能、应用场景
来源：卓商AI
发布时间：2025-04-05
LeviTor概述简介
LeviTor是南京大学、蚂蚁集团、浙江大学等机构推出的图像到视频合成技术，结合深度信息和K-means聚类点控制视频中3D物体的轨迹，无需显式的3D轨迹跟踪。LeviTor用高质量的视频对象分割数据集进行训练，有效捕捉复杂场景中的物体运动和交互，基于用户友好的推理流程简化3D轨迹输入，让视频生成技术更加先进和易用。LeviTor的引入为3D物体轨迹控制铺平道路，拓宽创意应用范围，适用于更广泛的用户群体。
LeviTor的功能特色
精确操控物体运动：在从静态图像生成视频时，精确控制物体的运动轨迹。
增强创意应用：基于3D轨迹控制，拓宽视频合成的创意应用范围。
简化用户输入：用户用简单的2D图像上的绘制和深度调整输入3D轨迹，降低技术门槛。
自动提取深度信息和物体掩码：系统自动从图像中提取深度信息和物体掩码，减少用户操作。
交互式轨迹绘制：用户交互式地绘制物体轨迹，系统将其解释为3D路径。
LeviTor的技术原理
K-means聚类：对视频对象掩码（mask）的像素进行K-means聚类，得到一组代表性的控制点。
深度信息融合：深度估计网络DepthAnythingV2预测相对深度图，并在每个控制点采样深度，为控制点增添深度信息。
控制信号构建：结合2D坐标和估计的深度值，构建控制轨迹，轨迹作为视频扩散模型的控制信号。
视频扩散模型：将控制信号输入到视频扩散模型中，生成与3D轨迹对齐的视频。
用户友好的推理流程：设计用户友好的交互系统，用户用点击和调整深度值输入3D轨迹。
LeviTor项目介绍
项目官网：ppetrichor.github.io/levitor
GitHub仓库：https://github.com/qiuyu96/LeviTor
HuggingFace模型库：https://huggingface.co/hlwang06/LeviTor
arXiv技术论文：https://arxiv.org/pdf/2412.15214
LeviTor能做什么？
电影特效制作：生成逼真的特效场景，减少实地拍摄成本，提高制作效率。
游戏动画生成：在游戏开发中，创造动态的游戏背景和角色动画，增强游戏的沉浸感。
虚拟现实体验：在VR应用中合成逼真的虚拟环境，为用户提供更加真实的沉浸式体验。
增强现实展示：在AR领域将虚拟信息与现实世界无缝结合，用在教育、导航等场景。
广告视频制作：制作动态广告视频，吸引观众注意力，提升品牌形象和产品吸引力。
© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有，未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
相关文章
-
CHANGER是什么？一文让你看懂CHANGER的技术原理、主要功能、应用场景2025-04-05 -
Kiroku是什么？一文让你看懂Kiroku的技术原理、主要功能、应用场景2025-04-05
-
Vision Search Assistant是什么？一文让你看懂Vision Search Assistant的技术原理、主要功能、应用场景2025-04-05
-
MVDrag3D是什么？一文让你看懂MVDrag3D的技术原理、主要功能、应用场景2025-04-05
-
Chonkie是什么？一文让你看懂Chonkie的技术原理、主要功能、应用场景2025-04-05
-
MSQA是什么？一文让你看懂MSQA的技术原理、主要功能、应用场景2025-04-05
卓商AI
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
最新发布
1
2
3
4
5
6
7
8
9
10
猜你喜欢
Kvistly
Kvistly是一个利用人工智能技术创建互动式测验的平台，旨在提升销售培训、团队建设、培训和入职等环节的效率和参与度。它通过实时的互动学习连接真人，增...
MedReport
MedReport是一个由人工智能驱动的在线平台,可以帮助医生及各类医疗从业人员一键生成专业的病历报告。该平台提供多种行业标准的报告模板,用户只需输入...
Aicotravel
Aicotravel 是一款 AI 旅行行程规划工具，通过智能算法和数据分析，为用户提供个性化的旅行行程规划。用户可以根据自己的出行需求，输入旅行目的...
WanderGenie
WanderGenie是一款由AI驱动的旅行伴侣，帮助您个性化、无忧地探索世界。它提供了实惠的机票和酒店预订服务，为您打造定制化的旅行体验。Wande...
Wanderias
Wanderias正在为您构建基于AI的个性化旅行计划！告别耗时的研究和决策，我们的个性化旅行规划器会为您处理每一个细节，让您轻松享受无压力的旅行体验...
Ivee
Ivee是一个B2B影响者营销平台，旨在帮助企业与行业专家合作，以增长收入、产生潜在客户并提升品牌。它通过AI驱动的搜索引擎集中来自Linkedin、...
Mem0
Mem0是一个为大型语言模型（LLMs）提供智能、自我改进记忆层的平台。它通过在用户会话、交互和AI代理之间保留信息，确保连续性和上下文，从而实现个性...
Momodel.cn
Mo是一个专注于 AI 技术学习和应用的平台，旨在为用户提供从基础到高级的系统学习资源，帮助各类学习者掌握 AI 技能，并将其应用于实际项目中。无论你...
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
