上一篇
HoloDrive是什么？一文让你看懂HoloDrive的技术原理、主要功能、应用场景
Perception-as-Control是什么？一文让你看懂Perception-as-Control的技术原理、主要功能、应用场景
来源：卓商AI
发布时间：2025-04-05
Perception-as-Control概述简介
Perception-as-Control是阿里巴巴通义实验室推出的图像动画框架，能根据用户意图实现细粒度的运动控制。Perception-as-Control基于构建3D感知运动表示，将相机和物体运动转化为直观、一致的视觉变化，用感知结果作为运动控制信号，支持多种与运动相关的视频合成任务。Perception-as-Control框架基于U-Net架构的扩散模型，结合参考图像的外观信息和运动控制信号的运动信息，生成可控的图像动画。Perception-as-Control推出三阶段训练策略，平衡相机和物体运动控制，促进细粒度运动控制，在多种应用场景中展现出优越的性能。
Perception-as-Control的功能特色
细粒度协同运动控制：实现相机和物体运动的协同控制，支持用户用细粒度的方式控制动画中的各个元素。让用户精确地调整场景中物体的运动及相机的视角变化。
多种运动相关视频合成任务：支持多种与运动相关的视频合成任务，包括基于图像的运动生成、基于视频的运动克隆、运动转移和运动编辑。
运动生成：根据用户输入的参考图像和2D轨迹生成动画。
运动克隆：模仿源视频中的相机和物体运动。
运动转移：将源视频中的局部运动转移到参考图像中的不同位置和尺度的对象上。
运动编辑：用户提供分割掩码，编辑分割掩码内的运动。
3D感知运动表示：基于构建3D感知运动表示，将复杂的3D场景简化为关键对象部分（用单位球表示）和世界包络，实现直观且一致的视觉变化。
Perception-as-Control的技术原理
3D感知运动表示：将3D场景简化为关键对象部分（用单位球表示）和世界包络，基于3D点跟踪和视觉里程计技术捕捉局部物体运动和全局相机运动。
网络架构：基于去噪U-Net架构，用两个轻量级编码器分别编码相机和物体控制信号，避免RGB级别的干扰，融合模块合并编码信号。
参考图像注入：ReferenceNet将参考图像的外观信息注入到生成过程中，确保生成的视频保持参考图像的特定外观。
三阶段训练策略：
第一阶段：仅训练相机编码器，处理仅含相机运动的视频剪辑。
第二阶段：加入物体编码器和融合模块，处理包含相机和物体运动的视频剪辑。
第三阶段：基于稀疏单位球实现细粒度物体运动控制，自适应确定每个渲染点的控制范围。
扩散模型：用图像扩散概率模型的基本原理，使用去噪U-Net架构生成视频，优化目标是最小化预测噪声与实际噪声之间的差异，条件输入包括参考图像和运动控制信号。
Perception-as-Control项目介绍
项目官网：https://chen-yingjie.github.io/projects/Perception-as-Control/
GitHub仓库：https://github.com/chen-yingjie/Perception-as-Control
arXiv技术论文：https://arxiv.org/pdf/2501.05020
Perception-as-Control能做什么？
电影和视频特效：生成具有特定运动的动画场景，模仿现有视频中的复杂运动，或将一个角色的运动转移到另一个角色上。
游戏开发：为游戏角色和物体生成自然且可控的动画，提升游戏的沉浸感和动态效果。
虚拟现实（VR）和增强现实（AR）：在VR环境中生成实时动画反馈，增强用户互动体验；在AR应用中将虚拟物体动画与现实场景融合。
广告和营销：生成吸引人的动态广告和品牌推广动画，提升品牌形象和记忆点。
教育和培训：生成科学实验动画和技能培训模拟动画，帮助学生和学员更好地理解和掌握知识和技能。
© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有，未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
相关文章
-
CHANGER是什么？一文让你看懂CHANGER的技术原理、主要功能、应用场景2025-04-05 -
Kiroku是什么？一文让你看懂Kiroku的技术原理、主要功能、应用场景2025-04-05
-
Vision Search Assistant是什么？一文让你看懂Vision Search Assistant的技术原理、主要功能、应用场景2025-04-05
-
MVDrag3D是什么？一文让你看懂MVDrag3D的技术原理、主要功能、应用场景2025-04-05
-
Chonkie是什么？一文让你看懂Chonkie的技术原理、主要功能、应用场景2025-04-05
-
MSQA是什么？一文让你看懂MSQA的技术原理、主要功能、应用场景2025-04-05
卓商AI
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
最新发布
1
2
3
4
5
6
7
8
9
10
猜你喜欢
gocharlie
Gocharlie是任何营销人员的理想助手。它仅在一键单击中创建具有超过1,500个单词的博客文章，引人入胜的社交媒体广告和字幕，令人惊叹的4K，垂直...
Lovable
Lovable是一个创新的全栈工程平台，它允许用户通过自然语言描述自己的想法，快速将概念转化为功能完备的应用程序。这个平台以其超快速的开发流程、直观的...
AI-reads-books-page-by-page
这是一个用于逐页分析PDF书籍的智能脚本，它能够提取知识点并生成阶段性摘要。该脚本处理每页内容，允许详细理解内容的同时保持书籍的上下文连贯性。它代表了...
Next AI Jobs
Next AI Jobs是一个提供人工智能、机器学习、自然语言处理和数据科学等领域的工作和职业机会的网站。它连接了人工智能行业的雇主和求职者，为人才提...
Setlist Predictor
Never Miss A Beat Again是一个音乐搜索工具，通过最新的可用数据和人工智能预测，您可以输入您喜欢的艺术家，查看他们的预测演唱会曲目...
speech to note
语音要注意是一种AI驱动的工具，用于快速准确地将口语转换为书面摘要。这种强大的解决方案使用最先进的技术将您的口头输入转变为精确的笔记，访谈的笔录和演讲...
wati
Wati提供了一种端到端的WhatsApp API解决方案，旨在帮助中小型企业发展业务。利用WhatsApp业务API平台通过自动营销，服务，支持和销...
Chatsimple
ChatSimple是一个定制的AI聊天机器人平台，让您能够在不到5分钟的时间内设置自己的聊天机器人。它使用您的网站内容进行训练，提供24/7的客户交...
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
