ShowUI是什么?一文让你看懂ShowUI的技术原理、主要功能、应用场景

来源:卓商AI
发布时间:2025-04-05

ShowUI概述简介

ShowUI是新加坡国立大学Show Lab和微软一起推出的视觉-语言-行动模型,能提升图形用户界面(GUI)助手的工作效率。模型基于UI引导的视觉令牌选择减少计算成本,用交错视觉-语言-行动流统一GUI任务中的多样化需求,并管理视觉-行动历史增强训练效率。ShowUI用小规模但高质量的指令跟随数据集,用256K数据实现75.1%的零样本截图定位准确率,训练速度提升1.4倍,展现出在GUI视觉代理领域的潜力。

ShowUI的功能特色

UI引导的视觉令牌选择:将屏幕截图构建为UI连接图,自适应地识别冗余关系,在自注意力模块中作为选择令牌的标准,减少计算成本。

交错视觉-语言-行动流:灵活地统一GUI任务中的多样化需求,有效管理视觉-行动历史,提高训练效率。

小规模高质量GUI指令跟随数据集:基于精心策划数据和采用重采样策略解决数据类型不平衡的问题,提高模型的准确性和效率。

零样本截图定位:在没有额外训练的情况下,直接对屏幕截图进行理解和操作的能力。

GUI自动化:自动化执行GUI任务,如点击、输入等,提高人机交互效率。

ShowUI的技术原理

UI引导的视觉令牌选择:

将屏幕截图分割成规则的补丁(patches),每个补丁作为一个节点。

识别具有相同RGB值的相邻补丁,构建UI连接图,将视觉冗余区域组合起来。

在自注意力模块中,基于UI连接图选择性地处理视觉令牌,减少计算量。

交错视觉-语言-行动流:

结构化GUI动作,以JSON格式表示,统一不同设备上的动作。

基于交替处理视觉、语言和行动数据,管理复杂的交互历史。

在训练中,用多轮对话方式,提高数据利用效率。

数据策划和重采样策略:

精心策划和选择高质量的训练数据,而不是简单地聚合所有可用数据源。

基于重采样策略,解决不同设备和任务类型之间的数据不平衡问题。

高效处理高分辨率UI截图:针对高分辨率UI截图,优化模型以有效处理长令牌序列,减少计算成本。

模型架构:

基于Qwen2-VL-2B模型,整合视觉编码器和语言大模型,处理视觉和文本数据。

基于特定的数据食谱和训练策略,提高模型在GUI任务中的性能。

ShowUI项目介绍

GitHub仓库:https://github.com/showlab/ShowUI

HuggingFace模型库:https://huggingface.co/datasets/showlab/ShowUI-desktop-8K

arXiv技术论文:https://arxiv.org/pdf/2411.17465

在线体验Demo:https://huggingface.co/spaces/showlab/ShowUI

ShowUI能做什么?

网页自动化:自动执行网页上的点击、输入、滚动等操作,用在自动化测试、数据抓取或模拟用户行为。

移动应用测试:在移动应用中自动化执行各种用户交互,如滑动、点击、填写表单等,进行应用功能测试。

桌面软件自动化:自动化桌面软件中的重复性任务,如文件管理、数据输入、设置调整等。

虚拟助手:作为虚拟助手的一部分,根据用户的自然语言指令执行特定的GUI操作。

游戏自动化:在支持自动化脚本的游戏中,自动执行角色移动、物品拾取、战斗等操作。

© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有,未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
卓商AI
卓商AI

AI爱好者的一站式人工智能AI工具箱,累计收录全球10,000⁺好用的AI工具软件和网站,方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用,力争做全球排名前三的AI网址导航网站,欢迎您成为我们的一员。

猜你喜欢
  • Imagine Me
    Imagine Me ImagineMe是一款全新的AI艺术生成器,可以根据简单的文字描述生成令人惊叹的个人艺术作品。你可以想象出任何你想要的形象。...
  • Agora Merchants
    Agora Merchants Agora Merchants 是一个专为电子商务产品设计的搜索引擎,帮助Shopify和WooCommerce店铺增加销量。它不收取销售佣金,订单直...
  • girlfriendly ai 1
    girlfriendly ai 1 与女友AI一起发现新的个人对话。通过参与AI的对话和创建未经审查的图像的能力,您可以开发独特的SFW和NSFW个性。与数千个AI角色互动,以获得真正的...
  • Rezumeify
    Rezumeify Rezumeify是一个简历助手工具,能够帮助用户分析简历、生成专业的求职信和简历。通过AI技术,Rezumeify可以对用户的简历进行深度分析,并根...
  • Accio.com
    Accio.com 阿里巴巴在海外推出对话式 AI 搜索引擎 Accio,面向全球商家开放。Accio是一个在线平台,旨在帮助用户进行产品搜索和采购。它利用实时数据为用户...
  • AI coustics
    AI coustics 欢迎来到语音技术的未来!通过生成式语音AI,以前所未有的高质量音频体验,提升您的声音至专业级质量。无论您是在录制播客、使用低质量耳机还是处理讨厌的背景...
  • kazimir ai
    kazimir ai 通过Kazimir.ai的AI生成的图像发现无尽的可能性。从令人惊叹的景观到栩栩如生的面孔,Kazimir庞大的收藏品都适合各种需求。立即注册以获取无...
  • CodeViz
    CodeViz CodeViz是一个旨在帮助开发者更高效地阅读和理解代码的工具。它通过可视化的方式展示代码结构,使得开发者能够快速把握代码的架构和功能模块,从而提高代...