上一篇
ComflowySpace是什么？一文让你看懂ComflowySpace的技术原理、主要功能、应用场景
Follow-Your-Click是什么？一文让你看懂Follow-Your-Click的技术原理、主要功能、应用场景
来源：卓商AI
发布时间：2025-04-05
Follow-Your-Click概述简介
Follow-Your-Click是一个由来自腾讯公司（混元团队）联合清华大学和香港科技大学的开发人员共同研发的图像到视频（Image-to-Video，简称I2V）生成模型，允许用户通过简单的点击和简短的动作提示来生成局部图像动画，从而将静态图像转换为动态视频。该模型旨在解决现有的大多数图像到视频方法并不具备局部动画的特性，只能移动整个场景。
Follow-Your-Click的官网入口
官方项目主页：https://follow-your-click.github.io/
arXiv研究论文：https://arxiv.org/abs/2403.08268（注：源码和Demo预计4月份上线）
GitHub代码库：https://github.com/mayuelala/FollowYourClick
Follow-Your-Click的功能特色
简单友好的交互：Follow-Your-Click提供了直观的用户控制界面，用户可以通过简单的点击来指定动画区域，并通过简短的提示词来定义动画类型和动作。
局部动画生成：用户可以通过点击图像中的特定区域，使这些区域产生动画效果。即用户可以选择图像的任何部分，并为其添加动态效果，如让物体微笑、摇摆或移动。
多对象动画：模型支持对图像中的多个对象同时进行动画处理，允许用户创建更为丰富和复杂的动态场景。
简短动作提示：用户只需提供简短的动作描述，模型就能够理解并生成相应的动画效果。简化了动画制作过程，使得用户无需进行复杂的操作或提供冗长的描述。
高质量视频生成：模型采用了先进的技术策略，如第一帧遮罩策略和基于光流的运动幅度控制，以确保生成的视频具有高质量和真实感。
运动速度控制：模型还允许用户控制动画对象的运动速度，通过精确的控制来满足不同的动画需求。
Follow-Your-Click的工作原理
用户交互：用户首先通过点击图像上的特定位置来选择需要动画化的对象区域。这种交互方式简单直观，不需要用户进行复杂的操作或提供详细的描述。接着，用户提供一个简短的动作提示，如“摇动身体”或“微笑”，来指定所选区域应执行的动作。
图像分割：为了将用户的点击转换为可以用于动画的区域掩码，框架集成了SAM（Segment Anything）工具。SAM是一个可提示的图像分割工具，能够根据用户的点击生成高质量的对象掩码。
第一帧遮罩策略：为了提高视频生成质量，框架采用了第一帧遮罩策略。在训练过程中，输入图像的潜在表示（latent representation）会被随机遮罩一部分，以增强模型学习时间相关性的能力。这种方法显著提高了生成视频的质量。
运动增强模块：为了使模型能够更好地响应简短的动作提示，框架设计了一个运动增强模块。该模块通过一个新的交叉注意力层来增强模型对动作相关词汇的响应。在训练阶段，该模块使用短动作提示进行训练，而在推理阶段，这些提示被输入到运动增强模块和U-Net的交叉注意力模块中。
基于光流的运动幅度控制：传统的运动强度控制依赖于调整每秒帧数（FPS）。然而，这种方法不能精确控制单个对象的运动速度。为了准确学习运动速度，框架提出了一种基于光流的运动幅度控制方法。通过计算光流的平均幅度并将其投影到位置嵌入中，可以在所有帧中一致地应用运动强度。
视频生成：在推理阶段，用户点击的位置和简短的动作提示被用来生成动画视频。模型结合了用户指定的区域掩码和动作提示，生成了一系列连贯的动画帧，同时保持了输入图像的其余部分静止。
© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有，未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
相关文章
-
CHANGER是什么？一文让你看懂CHANGER的技术原理、主要功能、应用场景2025-04-05 -
Kiroku是什么？一文让你看懂Kiroku的技术原理、主要功能、应用场景2025-04-05
-
Vision Search Assistant是什么？一文让你看懂Vision Search Assistant的技术原理、主要功能、应用场景2025-04-05
-
MVDrag3D是什么？一文让你看懂MVDrag3D的技术原理、主要功能、应用场景2025-04-05
-
Chonkie是什么？一文让你看懂Chonkie的技术原理、主要功能、应用场景2025-04-05
-
MSQA是什么？一文让你看懂MSQA的技术原理、主要功能、应用场景2025-04-05
卓商AI
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
最新发布
1
2
3
4
5
6
7
8
9
10
猜你喜欢
Superpower ChatGPT
Superpower ChatGPT是一款功能强大的聊天插件，使用GPT技术实现智能对话。它提供了许多强大的功能，包括文件夹管理、搜索功能、GPT商店...
Portals.co
Portals.co是一个免费使用的AI驱动的客户反馈平台，通过使用AI生成的跟进问题，您可以获取更深层次的客户反馈信息。我们的小部件可以通过一行代码...
ElevenLabs Audio Native
ElevenLabs Audio Native 是一款自动化的嵌入式语音播放器，它可以为任何文章、博客或新闻简报自动生成类人声旁白。它具有可定制性、易...
mentionlytics
提法是一种全面且智能的AI驱动在线媒体监控工具。它跟踪品牌，产品和竞争对手在整个网络和各种社交媒体渠道中提到的，从而为用户提供了对他们在线形象的宝贵见...
AISmartCube
AISmartCube是一个低代码AI工具平台，提供图形化操作界面和丰富的官方模板，支持用户轻松实现工作场景自动化，提升工作效率。平台集成了全球多家大...
H2O Danube3
H2O Danube3 是由 h2oai 公司开发的一系列文本生成模型，这些模型专注于提供高质量的文本生成服务，广泛应用于聊天机器人、内容创作等领域。...
courses ai
使用Courses.ai轻松创建您的在线课程。不再等待几个月 - AI课程创建者允许您在几天内建立课程。凭借蓝图，模板和AI助手，将您的专业知识带入...
Famewall
Famewall是一个非常实惠的工具,企业可以使用它来收集客户见证,并在网站、邮件等地方展示,以吸引更多客户,无需编程。完全免费试用,不需要信用卡。主...
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
