CreatiLayout概述简介

CreatiLayout 是复旦大学和字节跳动联合提出的创新的布局到图像生成（Layout-to-Image, L2I）技术。通过构建大规模的布局数据集 LayoutSAM，包含 270 万图像-文本对和 1070 万个实体标注，每个实体都详细描述了颜色、形状、纹理等属性。CreatiLayout 的核心在于其 SiamLayout 框架，框架将布局信息视为一种独立的模态，通过 MM-DiT 原生的 MM-Attention 实现布局与图像模态的交互，有效解决了模态竞争问题。此外，CreatiLayout 还引入了 LayoutDesigner，基于大语言大模型帮助用户生成和优化布局，支持多种输入方式，如中心点、掩码、草图和文本描述等。

CreatiLayout的功能特色

高质量图像生成：基于孪生多模态扩散变换器（Siamese Multimodal Diffusion Transformer），CreatiLayout 能生成高质量和细粒度可控的图像。能精确渲染复杂的属性，如颜色、纹理、形状等。

布局生成与优化：通过 LayoutDesigner，CreatiLayout 可以根据用户的多种输入（如中心点、掩码、草图、文本描述等）生成和优化布局。使用户能更灵活地表达设计意图，生成和谐美观的布局。

大规模数据集支持：CreatiLayout 构建了名为 LayoutSAM 的大规模布局数据集，包含 270 万图像-文本对和 1070 万个实体标注。每个实体都详细描述了颜色、形状、纹理等属性，为模型提供了丰富的数据支持。

多模态交互：在模型架构上，CreatiLayout 将布局信息视为一种独立的模态，通过 MM-DiT 的 MM-Attention 实现布局与图像模态的交互。

CreatiLayout的技术原理

孪生多模态扩散变换器：CreatiLayout 基于这种变换器来实现高质量和细粒度可控的图像生成。能有效地处理多模态数据，包括图像、文本和布局信息。

SiamLayout 框架：框架将布局信息视为一种独立的模态，并与文本和图像模态同等重要。通过 MM-DiT 原生的 MM-Attention 实现布局模态与图像模态的交互，缓解了模态竞争问题，增强了布局的指导作用。具体来说，图像、文本、布局这三个模态的交互被解耦为两个孪生的分支：图像-文本交互分支与图像-布局交互分支，使文本与布局对图像内容的指导各司其职、互不干扰。

LayoutDesigner：基于大型语言大模型进行布局规划和优化，支持用户通过多种输入形式（如中心点、掩码、草图、文本描述等）生成和优化布局。

CreatiLayout项目介绍

项目官网：https://creatilayout.github.io

Github仓库：https://github.com/HuiZhang0812/CreatiLayout

arXiv技术论文：https://arxiv.org/pdf/2412.03859

在线体验Demo：https://huggingface.co/spaces/HuiZhang0812/CreatiLayout

CreatiLayout能做什么？

宣传海报制作：设计师可以用 CreatiLayout 快速生成符合预期的高质量宣传海报。

家具摆放优化：CreatiLayout 能精确解析每个家具的位置和尺寸，生成逼真的室内效果图。

视觉效果创作：可以帮助开发者探索新的视觉效果和风格，通过精确控制布局和图像细节，创造出更具创意和吸引力的游戏画面。

教学材料制作：教师可以用 CreatiLayout 将知识点以图文并茂的形式呈现出来。