上一篇
ComflowySpace是什么？一文让你看懂ComflowySpace的技术原理、主要功能、应用场景
Follow-Your-Click是什么？一文让你看懂Follow-Your-Click的技术原理、主要功能、应用场景
来源：卓商AI
发布时间：2025-04-05
Follow-Your-Click概述简介
Follow-Your-Click是一个由来自腾讯公司（混元团队）联合清华大学和香港科技大学的开发人员共同研发的图像到视频（Image-to-Video，简称I2V）生成模型，允许用户通过简单的点击和简短的动作提示来生成局部图像动画，从而将静态图像转换为动态视频。该模型旨在解决现有的大多数图像到视频方法并不具备局部动画的特性，只能移动整个场景。
Follow-Your-Click的官网入口
官方项目主页：https://follow-your-click.github.io/
arXiv研究论文：https://arxiv.org/abs/2403.08268（注：源码和Demo预计4月份上线）
GitHub代码库：https://github.com/mayuelala/FollowYourClick
Follow-Your-Click的功能特色
简单友好的交互：Follow-Your-Click提供了直观的用户控制界面，用户可以通过简单的点击来指定动画区域，并通过简短的提示词来定义动画类型和动作。
局部动画生成：用户可以通过点击图像中的特定区域，使这些区域产生动画效果。即用户可以选择图像的任何部分，并为其添加动态效果，如让物体微笑、摇摆或移动。
多对象动画：模型支持对图像中的多个对象同时进行动画处理，允许用户创建更为丰富和复杂的动态场景。
简短动作提示：用户只需提供简短的动作描述，模型就能够理解并生成相应的动画效果。简化了动画制作过程，使得用户无需进行复杂的操作或提供冗长的描述。
高质量视频生成：模型采用了先进的技术策略，如第一帧遮罩策略和基于光流的运动幅度控制，以确保生成的视频具有高质量和真实感。
运动速度控制：模型还允许用户控制动画对象的运动速度，通过精确的控制来满足不同的动画需求。
Follow-Your-Click的工作原理
用户交互：用户首先通过点击图像上的特定位置来选择需要动画化的对象区域。这种交互方式简单直观，不需要用户进行复杂的操作或提供详细的描述。接着，用户提供一个简短的动作提示，如“摇动身体”或“微笑”，来指定所选区域应执行的动作。
图像分割：为了将用户的点击转换为可以用于动画的区域掩码，框架集成了SAM（Segment Anything）工具。SAM是一个可提示的图像分割工具，能够根据用户的点击生成高质量的对象掩码。
第一帧遮罩策略：为了提高视频生成质量，框架采用了第一帧遮罩策略。在训练过程中，输入图像的潜在表示（latent representation）会被随机遮罩一部分，以增强模型学习时间相关性的能力。这种方法显著提高了生成视频的质量。
运动增强模块：为了使模型能够更好地响应简短的动作提示，框架设计了一个运动增强模块。该模块通过一个新的交叉注意力层来增强模型对动作相关词汇的响应。在训练阶段，该模块使用短动作提示进行训练，而在推理阶段，这些提示被输入到运动增强模块和U-Net的交叉注意力模块中。
基于光流的运动幅度控制：传统的运动强度控制依赖于调整每秒帧数（FPS）。然而，这种方法不能精确控制单个对象的运动速度。为了准确学习运动速度，框架提出了一种基于光流的运动幅度控制方法。通过计算光流的平均幅度并将其投影到位置嵌入中，可以在所有帧中一致地应用运动强度。
视频生成：在推理阶段，用户点击的位置和简短的动作提示被用来生成动画视频。模型结合了用户指定的区域掩码和动作提示，生成了一系列连贯的动画帧，同时保持了输入图像的其余部分静止。
© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有，未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
相关文章
-
CHANGER是什么？一文让你看懂CHANGER的技术原理、主要功能、应用场景2025-04-05 -
Kiroku是什么？一文让你看懂Kiroku的技术原理、主要功能、应用场景2025-04-05
-
Vision Search Assistant是什么？一文让你看懂Vision Search Assistant的技术原理、主要功能、应用场景2025-04-05
-
MVDrag3D是什么？一文让你看懂MVDrag3D的技术原理、主要功能、应用场景2025-04-05
-
Chonkie是什么？一文让你看懂Chonkie的技术原理、主要功能、应用场景2025-04-05
-
MSQA是什么？一文让你看懂MSQA的技术原理、主要功能、应用场景2025-04-05
卓商AI
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
最新发布
1
2
3
4
5
6
7
8
9
10
猜你喜欢
Text to Bark
Text to Bark 是由 ElevenLabs 开发的首个 AI 驱动的文本转语音模型，旨在帮助人们与狗狗进行更有效的沟通。该技术不仅展现了极高...
MistoLine
MistoLine是一个SDXL-ControlNet模型，能够适应任何类型的线条艺术输入，展示出高精度和出色的稳定性。它基于用户提供的线条艺术生成高...
coach marlee
指纹教练Marlee成功是世界上第一位AI教练，并利用对话式AI技术向具有互联网连接的任何人提供实时的发展教练。马利（Marlee）帮助个人和团队以歧...
Ellipsis
Ellipsis是一个AI开发者工具，它能够自动审查代码并修复拉取请求中的bug。它支持超过20种编程语言，每天审查2.1k次提交，帮助加速13%的合...
mindbuddy app
mindbuddy是一个基于OpenAI的GPT-4技术优化的心灵伙伴，通过聊天和表达自己来帮助你感觉更好！我们的聊天会话根据高度心理学教义进行优化。...
Notion-like AI Editor (Lexical)
Notion-like AI Editor是一个基于Liveblocks、Lexical和Vercel AI SDK的协作文本编辑器示例，它允许用户实...
Narrative BI
Narrative BI 是一个利用生成式人工智能技术的自动化商业智能平台，旨在帮助企业和团队从销售、营销和广告等多方面的数据中自动提取有价值的见解。...
akool
Akool是一个个性化的，生成的AGI内容平台，用于商业。利用强大的AI技术为您的品牌或业务创建个性化的高级工作室质量视频和图像。功能包括脸部播放，会...
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
