上一篇
MultiBooth是什么？一文让你看懂MultiBooth的技术原理、主要功能、应用场景
Aria-UI是什么？一文让你看懂Aria-UI的技术原理、主要功能、应用场景
来源：卓商AI
发布时间：2025-04-05
Aria-UI概述简介
Aria-UI是香港大学和Rhymes AI一起推出的为图形用户界面（GUI）定位任务设计的大型多模态模型。基于纯视觉方法，不依赖于HTML或AXTree等辅助输入，用大规模、多样化的数据合成流程，从Common Crawl和公开数据中生成高质量的元素描述和指令样本，适应不同环境下的多样化指令。Aria-UI创新性地整合动态动作历史信息，用文本或文本-图像交错格式增强模型在多步任务场景中的定位能力。在包括离线和在线代理任务的广泛基准测试中，Aria-UI均取得优异的性能，展现出强大的零样本泛化能力和跨平台适用性，成为通用GUI定位任务的有力解决方案。
Aria-UI的功能特色
GUI元素定位：将语言指令准确地映射到GUI中的目标元素，实现元素的精确定位，为后续的交互操作提供基础。
多模态输入处理：处理包括GUI图像、文本指令、动作历史等多种模态的输入信息，充分理解和利用多模态数据中的丰富信息。
多样化指令适应：基于大规模、多样化的数据合成流程生成的多样化指令样本，有效适应不同环境下的各种指令表达方式。
动态上下文理解：整合动态动作历史信息，用文本或文本-图像交错格式，在多步任务场景中理解当前的动态上下文，为准确的元素定位提供重要参考。
高分辨率图像处理：支持高达3920×2940的图像分辨率，将图像分割成小块处理，显著扩展可处理的图像尺寸范围。
Aria-UI的技术原理
纯视觉方法：采用纯视觉方法，直接从GUI图像中提取视觉特征，用视觉信息理解和定位目标元素。
多模态MoE模型：基于Aria多模态MoE（Mixture of Experts）模型构建，具有3.9B激活参数，擅长处理多模态数据。
数据合成与训练：基于两阶段的数据合成流程，从Common Crawl和公开数据中生成高质量的元素描述和多样化指令样本，覆盖Web、桌面和移动三大GUI环境，为模型训练提供大量、多样化的训练数据，增强模型对不同指令和元素的识别能力。
上下文感知数据扩展：用公开的代理轨迹数据模拟具有上下文的定位任务，构建文本动作历史和文本-图像交错历史两种上下文设置，基于数据合成流程为轨迹数据中的所有定位步骤生成详细的逐步指令，让模型在动态环境中更好地理解和执行任务。
超分辨率支持：将图像分割成小块并进行处理，支持高达3920×2940的图像分辨率，保持图像的细节和准确性。
Aria-UI项目介绍
项目官网：https://ariaui.github.io/
GitHub仓库：https://github.com/AriaUI/Aria-UI
HuggingFace模型库：https://huggingface.co/Aria-UI
arXiv技术论文：https://arxiv.org/pdf/2412.16256
Aria-UI能做什么？
自动化测试：Web应用测试自动点击网页按钮、输入信息，验证功能是否正常。
用户交互辅助：语音指令控制家居设备，如“开灯”自动点击开关按钮。
智能客服：电商平台客服快速定位产品详情，回答用户咨询问题。
教育行业：自动操作代码编辑器，演示编程过程和结果。
自动化办公：自动操作财务软件，生成报表，提高工作效率。
© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有，未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
相关文章
-
CHANGER是什么？一文让你看懂CHANGER的技术原理、主要功能、应用场景2025-04-05 -
Kiroku是什么？一文让你看懂Kiroku的技术原理、主要功能、应用场景2025-04-05
-
Vision Search Assistant是什么？一文让你看懂Vision Search Assistant的技术原理、主要功能、应用场景2025-04-05
-
MVDrag3D是什么？一文让你看懂MVDrag3D的技术原理、主要功能、应用场景2025-04-05
-
Chonkie是什么？一文让你看懂Chonkie的技术原理、主要功能、应用场景2025-04-05
-
MSQA是什么？一文让你看懂MSQA的技术原理、主要功能、应用场景2025-04-05
卓商AI
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
最新发布
1
2
3
4
5
6
7
8
9
10
猜你喜欢
CSM
CSM AI是一个多模态的3D生成平台，可以从视频、图像或文本生成高分辨率的几何体、纹理和神经辐射场。它可以快速准确地创建环境和游戏，为开发者提供了全...
Qwen2.5-Coder-7B
Qwen2.5-Coder-7B是基于Qwen2.5的大型语言模型，专注于代码生成、代码推理和代码修复。它在5.5万亿的训练令牌上进行了扩展，包括源代...
ARTLAS
ARTLAS是一款专注于艺术领域的AI应用，旨在帮助用户更好地发现、探索和理解艺术作品。它通过提供艺术展览Map、个性化推荐以及AI智能导览等功能，帮...
WPS Office
WPS Office是一款集成了文字处理、表格计算、演示制作和PDF阅读功能的办公软件。它以轻量级、兼容性强、操作简便和智能化为特点，提供了包括AI拼...
Graphy
Graphy是一个数据可视化工具，它通过简化数据呈现的方式，使得任何人都可以成为熟练的数据讲述者。它强调数据的行动性、清晰性和美观性，帮助用户快速做出...
Qwen2.5-Max
Qwen2.5-Max是一个大规模的Mixture-of-Expert (MoE)模型，经过超过20万亿tokens的预训练和监督微调与人类反馈强化学...
ai music api
通过AI Music API解锁音乐业务的全部潜力。经验提高了负担能力，效率和稳定性，同时无缝整合了Suno，Udio，AI Music和Luma等顶...
HeyGen
HeyGen是一款在线视频工具，通过 AI 主播创作助手，以简化传统视频拍摄和编辑过程中的高昂成本为目标，让用户能够轻松创建 AI 主播视频。HeyG...
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
