上一篇
DELIFT是什么？一文让你看懂DELIFT的技术原理、主要功能、应用场景
HART是什么？一文让你看懂HART的技术原理、主要功能、应用场景
来源：卓商AI
发布时间：2025-04-05
HART概述简介
HART（Hybrid Autoregressive Transformer）是麻省理工学院研究团队推出的自回归视觉生成模型。能直接生成1024×1024像素的高分辨率图像，质量媲美扩散模型。HART基于混合Tokenizer技术，将自动编码器的连续潜在表示分解为离散token和连续token，其中离散token负责捕捉图像的主要结构，连续token专注于细节。HART的轻量级残差扩散模块仅用3700万参数，大幅提升计算效率。在MJHQ-30K数据集上，HART将重构FID从2.11降至0.30，生成FID从7.85降至5.38，提升了31%，在吞吐量上比现有扩散模型提高4.5-7.7倍，MAC降低6.9-13.4倍。
HART的功能特色
高分辨率图像生成：直接生成1024×1024像素的高分辨率图像，满足高质量视觉内容的需求。
图像质量提升：基于混合Tokenizer技术，HART在图像重建和生成质量上超越传统的自回归模型，与扩散模型相媲美。
计算效率优化：在保持高图像质量的同时，显著提高计算效率，降低训练成本和推理延迟。
自回归建模：基于自回归方法，逐步生成图像，支持对生成过程进行更精细的控制。
HART的技术原理
混合Tokenizer：HART的核心是混合Tokenizer，将自动编码器的连续潜在表示分解为离散token和连续token。离散token负责捕捉图像的主要结构，连续token专注于细节。
离散自回归模型：离散部分由一个可扩展分辨率的离散自回归模型建模，支持模型在不同分辨率下生成图像。
轻量级残差扩散模块：连续部分由一个轻量级的残差扩散模块学习，该模块只有3700万个参数，有助于提高模型的效率。
效率与性能平衡：HART在FID和CLIP分数上优于现有的扩散模型，在吞吐量上提高了4.5-7.7倍，MAC降低6.9-13.4倍，实现效率与性能的良好平衡。
自回归生成：HART基于自回归方法，逐步生成图像，每一步都基于前一步的输出，支持模型在生成过程中逐步细化图像细节。
HART项目介绍
项目官网：hanlab.mit.edu/projects/hart
GitHub仓库：https://github.com/mit-han-lab/hart
arXiv技术论文：https://arxiv.org/pdf/2410.10812
在线体验Demo：https://hart.mit.edu/
HART能做什么？
数字艺术创作：艺术家和设计师生成高质量的数字艺术作品，包括插图、概念艺术和视觉特效。
游戏开发：在游戏设计中，生成游戏资产，如角色、环境和道具的高分辨率图像。
电影和视频制作：生成电影海报、概念艺术或者作为视频内容的背景和特效。
广告和营销：营销团队快速生成吸引人的广告图像和营销材料。
社交媒体内容：用户为社交媒体平台生成个性化的图像和视觉内容。
© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有，未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
相关文章
-
CHANGER是什么？一文让你看懂CHANGER的技术原理、主要功能、应用场景2025-04-05 -
Kiroku是什么？一文让你看懂Kiroku的技术原理、主要功能、应用场景2025-04-05
-
Vision Search Assistant是什么？一文让你看懂Vision Search Assistant的技术原理、主要功能、应用场景2025-04-05
-
MVDrag3D是什么？一文让你看懂MVDrag3D的技术原理、主要功能、应用场景2025-04-05
-
Chonkie是什么？一文让你看懂Chonkie的技术原理、主要功能、应用场景2025-04-05
-
MSQA是什么？一文让你看懂MSQA的技术原理、主要功能、应用场景2025-04-05
卓商AI
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
最新发布
1
2
3
4
5
6
7
8
9
10
猜你喜欢
Lomni
Lomni 是一款 AI 文本和语音呼叫产品，可提供增强的客户支持，回答常见问题，解决账户查询，给来电者发送短信，并连接到任何 API 或 Webho...
VoiceMirror
VoiceMirror提供实时语音翻译技术，支持超过30种语言，使用户能够与当地人自由交流并融入当地文化。无论是在餐馆点餐、问路还是结交新朋友，Voi...
StudyNinja
StudyNinja是一个综合性的学习工具，结合了智能任务管理、互动学习工具和独特的AI导师功能，使学习更高效、更有效。它适用于学生的学习和任务管理需...
ZevBot
Zev 是一款基于 ChatGPT 技术的聊天机器人，可以在你最喜爱的即时通讯应用中使用。它能回答你的问题，提供个性化推荐，帮助你进行语言翻译等等。Z...
TogetherForm
TogetherForm是一个实时协作表单工具，可以让团队成员共同填写和编辑表单。它将每个字段都转化为一个迷你的Google文档，使得团队可以在表单中...
UIGEN-T1-Qwen-7b
UIGEN-T1-Qwen-7b 是一个专注于 UI 推理生成的大型语言模型。它通过复杂的推理链路方法生成基于 HTML 和 CSS 的 UI 组件，...
Stable Diffusion 3.5 Medium
Stable Diffusion 3.5 Medium是一个基于文本到图像的生成模型，由Stability AI开发，具有改进的图像质量、排版、复杂提...
mixart ai
使用AI驱动的工具Mixart.ai转换您的照片，只需几个文本提示即可使任何图像栩栩如生。自定义背景，姿势和面部功能，以创建个性化和专业的照片。让您的...
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
