上一篇
OctoTools是什么？一文让你看懂OctoTools的技术原理、主要功能、应用场景
PhotoDoodle是什么？一文让你看懂PhotoDoodle的技术原理、主要功能、应用场景
来源：卓商AI
发布时间：2025-04-05
PhotoDoodle概述简介
PhotoDoodle是新加坡国立大学、上海交通大学、北京邮电大学、字节跳动和Tiamat团队联合推出的艺术化图像编辑框架，基于少量样本学习艺术家的独特风格，实现照片涂鸦（photo doodling）。PhotoDoodle用两阶段训练策略：基于大规模数据预训练通用图像编辑模型OmniEditor，用少量艺术家策划的前后图像对进行微调，捕捉特定的编辑风格。PhotoDoodle引入位置编码重用机制和无噪声条件范式，确保生成结果与背景的无缝融合和一致性。PhotoDoodle推出包含6种风格和300多个样本的高质量数据集，为相关研究提供基准。
PhotoDoodle的功能特色
艺术风格学习与复现：从少量艺术家提供的样本中学习独特的编辑风格，应用于新的图像编辑任务中。
装饰性元素生成：支持在照片上添加装饰性元素（如手绘线条、色彩块、装饰图案等），确保这些元素与背景无缝融合。
保持背景一致性：在编辑过程中，严格保留原始照片的背景内容，避免背景失真或风格被破坏。
指令驱动的编辑：基于自然语言指令控制图像编辑内容，实现精准的局部修改和风格化处理。
高效风格定制：借助低秩适应（LoRA）技术，仅需30-50对样本即可快速适配不同艺术家的风格，降低训练成本。
PhotoDoodle的技术原理
OmniEditor预训练：用大规模图像编辑数据集对预训练的DiT模型进行微调，将其转化为通用图像编辑器（OmniEditor）。引入位置编码克隆机制（Positional Encoding Cloning）和无噪声条件范式（Noise-free Conditioning），确保编辑过程中的空间一致性和背景保留。基于多模态注意力机制（MMA）结合文本指令和图像条件，实现精准的图像编辑。
EditLoRA微调：在预训练的OmniEditor基础上，用少量艺术家提供的前后图像对进行低秩适应（LoRA）微调。基于低秩分解矩阵适应性调整模型权重，捕捉特定艺术家的编辑风格，同时保留预训练模型的通用能力。
位置编码克隆机制：在源图像和目标图像之间共享相同的位置编码，确保生成结果的空间一致性，避免背景与装饰元素之间的错位。
无噪声条件范式：在生成过程中保留源图像的无噪声条件，防止背景内容在迭代去噪过程中被破坏，保持原始图像的细节和纹理。
条件流匹配损失函数：优化条件流匹配损失函数，指导模型学习从噪声到目标图像的生成路径，进一步提升编辑效果。
PhotoDoodle项目介绍
GitHub仓库：https://github.com/showlab/PhotoDoodle
HuggingFace模型库：https://huggingface.co/nicolaus-huang/PhotoDoodle
arXiv技术论文：https://arxiv.org/pdf/2502.14397
PhotoDoodle能做什么？
数字艺术创作：为照片添加艺术风格，快速生成创意作品。
商业设计：快速生成符合品牌风格的设计图像，提升设计效率。
社交媒体：为个人照片添加装饰效果，增强分享内容的吸引力。
艺术教育：辅助教学，帮助学生理解和实践不同艺术风格。
娱乐互动：实时生成艺术化图像，增强互动体验。
© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有，未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
相关文章
-
CHANGER是什么？一文让你看懂CHANGER的技术原理、主要功能、应用场景2025-04-05 -
Kiroku是什么？一文让你看懂Kiroku的技术原理、主要功能、应用场景2025-04-05
-
Vision Search Assistant是什么？一文让你看懂Vision Search Assistant的技术原理、主要功能、应用场景2025-04-05
-
MVDrag3D是什么？一文让你看懂MVDrag3D的技术原理、主要功能、应用场景2025-04-05
-
Chonkie是什么？一文让你看懂Chonkie的技术原理、主要功能、应用场景2025-04-05
-
MSQA是什么？一文让你看懂MSQA的技术原理、主要功能、应用场景2025-04-05
卓商AI
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
最新发布
1
2
3
4
5
6
7
8
9
10
猜你喜欢
storymania ai story generator
与AI -Power的平台与Storymania进行工艺吸引人的故事，旨在协助各个级别的作家。在干净，无广告的环境中享受无缝的编辑和类型定制。在创纪录...
aibooktools
使用Aibooktools，您可以将书籍快速转化为可行的见解 - 所有这些都没有长时间的阅读或手动数据输入。凭借AI的力量，您可以充分利用自己喜欢的书...
ps2filter me
使用ps2filter.me将照片转换为复古PS2字符。只需选择一张照片或拍摄新照片即可，PS2Filter AI技术就会发挥其魔力，使您的形象怀旧。...
Exponent
Exponent 是一款协作式 AI 编程代理，旨在提升软件开发的效率与体验。它能够在多种环境中工作，从代码的探索到部署，能够帮助开发者自动化复杂的编...
奇觅
奇觅是一款专注于游戏行业的广告AI制作与投放平台，旨在通过先进的人工智能技术，帮助广告策划人员和广告主更高效、更精准地制作和投放游戏广告。产品通过实时...
Rezumeify
Rezumeify是一个简历助手工具，能够帮助用户分析简历、生成专业的求职信和简历。通过AI技术，Rezumeify可以对用户的简历进行深度分析，并根...
Lanceboard
Lanceboard 是一个专为 AI 时代设计的自由职业平台，旨在通过高效的任务管理和协作功能，帮助企业和自由职业者更高效地完成工作。该平台利用 A...
可灵 AI
可灵 AI 是一款集成了 AI 图像和视频创作功能的创意生产力平台。其主要优点在于快速生成多样风格的图片和高清视频，助力用户提升创作效率。产品定位于为...
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
