DynamicControl概述简介

DynamicControl是腾讯优图联合南洋理工、浙大等研究机构推出的集成多模态大语言大模型（MLLM）推理能力的文本生成图像（T2I）任务新框架。DynamicControl通过自适应地选择不同条件，实现了动态多控制对齐，显著增强了图像生成的可控性，同时保持了图像质量和图像文本对齐。架构支持多种控制信号的动态组合，能根据条件的重要性和内部关系自适应选择不同数量和类型的条件，优化了生成更接近源图像的图像。

DynamicControl的功能特色

动态条件组合：DynamicControl支持不同控制信号的动态组合，支持自适应选择不同数量和类型的条件，实现更可靠和详细的图像合成。

条件评估器：集成多模态大型语言大模型（MLLM）来构建高效的条件评估器，根据双循环控制器的分数排名优化条件的排序。

增强可控性：实验结果显示，DynamicControl大大增强了可控性，不会牺牲图像质量或图像文本对齐。

解决多条件问题：框架解决了现有方法中处理多条件效率低下或使用固定数量条件的局限性，提供了一个更全面的方法来管理多种条件。

DynamicControl的技术原理

双循环控制器（Double-Cycle Controller）：DynamicControl首先使用双循环控制器为所有输入条件生成初始的真实分数排序。控制器通过预先训练的条件生成模型和判别模型为每个给定的图像条件和文本提示生成图像，从生成的图像中提取相应的图像条件。这个过程中，双循环控制器评估提取条件和输入条件之间的相似性，以及与源图像的像素级相似性，从而给出组合分数排名。

多模态大语言大模型（MLLM）：DynamicControl集成了多模态大型语言大模型（如LLaVA）来构建一个高效的条件评估器。评估器将各种条件和可提示的指令作为输入，使用双循环控制器的分数排名优化条件的最佳排序。

多控制适配器（Multi-Control Adapter）：DynamicControl提出了一种新颖而高效的多控制适配器，可以自适应地选择不同的条件，实现动态多控制对齐。适配器从动态视觉条件中学习特征图，并将它们集成以调制ControlNet，增强对生成图像的控制。

动态条件选择：DynamicControl支持不同控制信号的动态组合，支持自适应选择不同数量和类型的条件。确保训练能根据各种数据输入的独特需求和细微差别进行量身定制，提高模型的有效性和效率。

自适应机制：DynamicControl的自适应机制导致动态和多样化的控制条件在数量和类型上都没有冲突，在训练过程中的使用取决于每个数据集的具体特征。

DynamicControl项目介绍

项目官网：https://hithqd.github.io/projects/Dynamiccontrol

Github仓库：https://github.com/hithqd/DynamicControl

arXiv技术论文：https://arxiv.org/pdf/2412.03255

DynamicControl能做什么？

艺术创作：DynamicControl可以用于艺术创作中，帮助艺术家根据特定的视觉需求生成图像，例如生成具有特定风格或元素的艺术作品。

游戏设计：在游戏设计领域，DynamicControl可以用于快速生成游戏背景、角色或道具的概念图，提高设计效率。

广告制作：广告行业可以用DynamicControl生成吸引人的广告图像，根据广告文案和视觉需求定制图像内容。

个性化内容生成：随着AI绘画和写作工具的普及，DynamicControl可以满足用户对个性化和定制化内容的需求，提供更符合个人偏好的视觉内容。