上一篇
VQAScore是什么？一文让你看懂VQAScore的技术原理、主要功能、应用场景
AndroidLab是什么？一文让你看懂AndroidLab的技术原理、主要功能、应用场景
来源：卓商AI
发布时间：2025-04-05
AndroidLab概述简介
AndroidLab是用在训练和系统评估Android自主代理的框架，集成文本和图像模态操作环境，统一行动空间和可重现基准测试。AndroidLab支持大型语言大模型和多模态模型，包含138个任务，覆盖九个应用。基于AndroidLab，开发Android指令数据集，提升开源模型的成功率。框架缩小开源与闭源模型性能差距，推动开源解决方案发展，并在GitHub开源。
AndroidLab的功能特色
多模态操作环境：提供标准化的多模态操作环境，支持大型语言大模型（LLMs）和多模态模型（LMMs）在相同的操作空间内进行交互。
基准测试：设计一个包含138项任务的基准测试，覆盖九个常见应用，任务类型包括操作任务和查询任务，涉及真实世界的复杂交互场景。
评估指标：引入任务完成率（SR）、子目标成功率（Sub-SR）、反向冗余率（RRR）和合理操作比率（ROR）等评估指标，精准评估代理的任务表现。
数据集构建：创建Android Instruct数据集，结合自动化探索与人工标注，生成高质量的操作数据，提升开源模型在任务完成率和操作效率上的表现。
模型训练与优化：支持对开源和闭源模型进行训练和优化，基于指令调优显著缩小开源与闭源模型之间的性能差距。
AndroidLab技术原理
操作模式：
XML模式：为文本输入的LLMs设计，基于压缩XML信息传递界面状态，模型直接选择元素执行操作。
SoM模式：针对LMMs的设计，用Set-of-Mark方法，将屏幕截图与标记信息结合，模型选择带有编号的标记元素进行操作。
推理与操作框架：
ReAct框架：基于逐步推理和操作输出，模型输出操作的同时展示中间推理过程。
SeeAct框架：推理与操作分离，分两轮交互进行，第一轮模型生成详细的推理步骤，第二轮执行具体操作。
任务设计与重现性：每个任务设计多个子目标，用XML树结构匹配来验证每个子目标的完成情况，确保结果准确性和操作的高效性。
评估系统：基于任务完成的评估系统，直接从设备和屏幕状态判断，提供全面和精确的代理性能评估。
数据集与模型训练：基于自动化探索和人工标注构建数据集，训练和微调模型，提升模型在多模态与文本输入任务中的表现。
AndroidLab项目介绍
GitHub仓库：https://github.com/THUDM/Android-Lab
arXiv技术论文：https://arxiv.org/pdf/2410.24024
AndroidLab能做什么？
自动化测试：用在移动应用的自动化测试，模拟用户操作检测应用的功能和性能。
智能助理开发：开发理解和执行复杂用户指令的智能助理，如语音助手和聊天机器人。
人机交互研究：研究和改进人机交互方式，特别是在移动设备上，如何让机器更好地理解和响应人类指令。
人工智能研究：提供一个实验平台，研究和开发大型语言大模型（LLMs）和多模态模型（LMMs）在实际应用中的表现。
教育和培训：作为教育工具，帮助学生和开发人员理解Android操作系统的工作原理和应用开发。
© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有，未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
相关文章
-
CHANGER是什么？一文让你看懂CHANGER的技术原理、主要功能、应用场景2025-04-05 -
Kiroku是什么？一文让你看懂Kiroku的技术原理、主要功能、应用场景2025-04-05
-
Vision Search Assistant是什么？一文让你看懂Vision Search Assistant的技术原理、主要功能、应用场景2025-04-05
-
MVDrag3D是什么？一文让你看懂MVDrag3D的技术原理、主要功能、应用场景2025-04-05
-
Chonkie是什么？一文让你看懂Chonkie的技术原理、主要功能、应用场景2025-04-05
-
MSQA是什么？一文让你看懂MSQA的技术原理、主要功能、应用场景2025-04-05
卓商AI
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
最新发布
1
2
3
4
5
6
7
8
9
10
猜你喜欢
Syncly
Syncly是一款客户反馈分析SaaS平台。它可以收集各渠道的客户反馈,利用AI技术自动分类和情感分析,帮助公司发现客户痛点,提升客户满意度。主要功能...
Movievanders
Movievanders是一款AI推动的平台，可简化您的电影搜索并提供定制推荐。它利用最新的人工智能技术，包括OpenAI开发的先进语言模型，为您提供...
seo content machine
使用SEO内容机使SEO写作简单。使用自动AI技术在几秒钟内为任何语言和关键字生成SEO内容。提高内容创建效率而不牺牲质量。立即尝试并快速发展您的网站...
deciphr
Deciphr AI是一款创新的人工智能技术，可以将单一内容转化为多媒体资产，让您的受众在一键之间与之互动。无论是文章、音频还是视频，Deciphr ...
Mailmodo.com
Mailmodo是一个专注于提升电子邮件营销效率和转化率的平台。它利用人工智能技术优化邮件主题行、预标题和邮件正文，通过拖放编辑器设计邮件模板，并提供...
字狐AI
字狐AI办公大脑是一款集成了多种智能办公功能的AI平台，旨在通过人工智能技术提升用户的工作效率。它提供了智能对话、文本总结、AI秒出PPT、写作助手、...
ZeroPath
ZeroPath是一个自动化安全工具，旨在帮助开发者通过集成现有的静态应用程序安全测试(SAST)工具，自动验证和修复代码中的安全漏洞。它通过减少约9...
No Prompt GPT
智能翻译助手是一款功能强大的多语言翻译工具。它可以帮助用户轻松实现各种语言之间的翻译，包括文字、语音和图片翻译。该助手支持多种语言，具有高精度和快速的...
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
