AndroidGen是什么?一文让你看懂AndroidGen的技术原理、主要功能、应用场景

来源:卓商AI
发布时间:2025-04-05

AndroidGen概述简介

AndroidGen 是智谱技术团队推出增强基于大语言大模型(LLM)的 Agent 能力的框架,特别是在数据稀缺的情况下。框架通过收集人类任务轨迹基于这些轨迹训练语言大模型,开发出无需人工标注轨迹的 Agent,显著提升 LLM 执行复杂任务的能力。

AndroidGen的功能特色

无需人工标注的数据收集与训练:AndroidGen 能在无需人工标注轨迹的情况下,通过收集人类任务轨迹并基于这些轨迹训练语言大模型,开发出高效的 Agent。

增强 Agent 的任务执行能力:通过四个核心模块(ExpSearch、ReflectPlan、AutoCheck 和 StepCritic),AndroidGen 显著提升了 LLM 执行复杂任务的能力。

xpSearch(经验搜索):通过检索已完成的类似轨迹,使 LLM 进行上下文学习,从而提升 Agent 的能力,帮助其实现从简单任务到复杂任务的泛化。

ReflectPlan(反思计划):对当前环境进行自我反思并更新计划状态,增强 Agent 的长期推理能力。

AutoCheck(自动检查):主动验证每个 Agent 操作的有效性,降低因操作失误导致任务失败的风险。

StepCritic(步骤评估):将任务分解为多个子目标,并提供逐步轨迹评估,为模型优化提供细粒度标签。

高效的数据收集管道:AndroidGen 构建了一个高效的数据收集管道,能生成大量高质量的 Android 浏览轨迹。

AndroidGen的技术原理

模型训练:采用 LoRA 技术,针对自动构建的数据集对 GLM-4-9B 和 Llama-3-70B 进行微调,得到 Android Agent 模型。无需人工标注轨迹,通过将轨迹中的每一步作为独立样本进行训练,充分利用了数据集中的信息。

混合规划和执行步骤:将规划和执行步骤混合起来进行微调,使 LLM 能够同时具备规划和执行的能力。

数据收集流程:

任务制定:基于 GPT-4o 根据 AndroidWorld 中的指令生成约 300 条任务指令。

Agent 采样:基于 AndroidWorld 和 GPT-4o 对每个任务的轨迹进行采样。

轨迹记录:记录每一步的环境和操作信息,构建可复现的 Android 导航轨迹。

轨迹评估:使用 StepCritic 对记录的轨迹进行评估,确保每个子目标都已完成。

轨迹增强:扩充高质量数据集,最终构建了一个包含 1000 多个轨迹的数据集。

AndroidGen的性能效果

AndroidWorld 基准测试:

AndroidGen 显著提升了相同基础模型 Agent 的能力,与 M3A 和 SeeAct 相比,性能提升更为显著。

AndroidGen + GPT-4o 的平均得分达到了 46.8,远超其他组合。

模型参数更小且开源的 GLM-4-9B + AndroidGen 的平均得分,超过了模型参数更大且闭源的 GPT-4o + M3A。

AitW(Android in the Wild) 和八款全球流行的移动应用程序(如 Google Maps、YouTube 等)的评测中,AndroidGen 也表现出色,在真实设备环境中对自然语言指令的理解和交互能力。

AndroidGen能做什么?

自动化任务处理:通过自然语言指令,Agent 可以自动完成如发送邮件、设置提醒、查询信息等任务。

跨应用操作:Agent 能在不同应用之间进行交互,完成如从一个应用复制数据到另一个应用等操作。

智能导航:在 Android 设备上,Agent 可以根据用户指令进行导航,例如打开特定的应用、查找文件等。

智能交互:通过自然语言理解,Agent 能与用户进行交互,提供更智能的用户体验。

© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有,未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
卓商AI
卓商AI

AI爱好者的一站式人工智能AI工具箱,累计收录全球10,000⁺好用的AI工具软件和网站,方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用,力争做全球排名前三的AI网址导航网站,欢迎您成为我们的一员。

猜你喜欢
  • MoCha
    MoCha MoCha 是一种创新的技术,旨在合成高质量的对话角色,使其在影视制作、游戏和动画中应用广泛。该技术的主要优点是能生成更自然、流畅的角色对话,增强了观...
  • Ai Avatar
    Ai Avatar AI头像是一款神奇的人工智能软件,利用美学人工智能技术为您的照片创建迷人且独特的艺术作品,将您的照片提升到一个新的水平。通过AI头像,您可以轻松地将自...
  • Woy AI
    Woy AI Woy.ai是一个AI工具目录,提供2024年最新的AI工具列表。它为技术爱好者、开发者和企业提供了一个平台,以发现和利用人工智能的最新进展。...
  • Devi
    Devi Devi监测Facebook群组、LinkedIn、Twitter和Reddit中的关键词,并使用ChatGPT或Bard进行沟通以达成交易。Devi...
  • twiclips
    twiclips 通过Twiclips免费下载您最喜欢的抽搐剪辑,VOD和视频!这个功能强大的下载器使您可以轻松地访问并从Twitch.tv中保存自己喜欢的内容。告别缓...
  • omnisend
    omnisend Omnisend提供了电子邮件和SMS营销的强大组合,以最大程度地发挥您的电子商务成功。轻松捕获和吸引客户,增加收入,并使客户持续更长的时间。通过Om...
  • Recos.
    Recos. Recos是一个音频转文本的网站工具。它使用OpenAI的Whisper API,提供稳定的、高效的音频转文本服务。支持多种常见音频格式,保证用户的隐...
  • Websparks
    Websparks Websparks是一个AI驱动的软件开发平台,它通过人工智能技术将用户的想法快速转化为完整的全栈应用程序,包括响应式前端、强大的后端和优化的数据库。...