上一篇
ConsiStory是什么？一文让你看懂ConsiStory的技术原理、主要功能、应用场景
ScreenAgent是什么？一文让你看懂ScreenAgent的技术原理、主要功能、应用场景
来源：卓商AI
发布时间：2025-04-05
ScreenAgent概述简介
ScreenAgent是一个由吉林大学人工智能学院的研究团队开发的计算机控制智能体，该智能体是基于视觉语言大模型（VLM）构建的，能够与真实计算机屏幕进行交互。开发人员构建了一个包含“计划-执行-反思”的运行流程，以引导智能体与计算机屏幕进行持续性的交互。ScreenAgent的核心功能是通过观察屏幕截图，并输出相应的鼠标和键盘动作来操纵图形用户界面（GUI），从而执行多步骤的复杂任务。
ScreenAgent的官网入口
官方GitHub代码库：https://github.com/niuzaisheng/ScreenAgent
Arxiv研究论文入口：https://arxiv.org/abs/2402.07945
ScreenAgent的运行流程
屏幕观察：ScreenAgent能够观察和理解计算机屏幕上的截图。该特性通过VNC协议实现，允许智能体查看桌面操作系统的实时图像。
动作生成：基于观察到的屏幕截图，ScreenAgent可以生成相应的鼠标和键盘动作。这些动作以JSON格式的命令序列输出，包括移动鼠标、点击、双击、滚动、拖动以及键盘输入等。
任务规划：ScreenAgent 能够根据用户的任务提示，分解复杂的任务为一系列子任务，并为每个子任务规划相应的动作序列。这涉及到对任务的理解、分解和策略制定。
执行动作：在规划阶段之后，ScreenAgent执行规划好的子任务，通过发送鼠标和键盘动作命令到计算机，以实现用户的目标。
反思评估：在执行动作之后，ScreenAgent会评估执行的结果，决定是否需要重试当前子任务、继续执行下一个子任务，或者调整整个计划。
ScreenAgent的技术原理
视觉语言大模型（VLM）：
VLM是一种结合了视觉和语言处理能力的模型，它可以理解图像内容并生成相应的自然语言描述。
在ScreenAgent中，VLM用于解析屏幕截图，理解用户的任务提示，并规划出一系列动作来完成任务。
强化学习环境：
ScreenAgent通过VNC协议与真实计算机屏幕交互，创建了一个强化学习环境。在这个环境中，智能体可以观察屏幕状态（状态空间），执行动作（动作空间），并根据执行结果获得奖励（奖励函数）。
控制流程：
计划（Planning）：智能体根据当前屏幕截图和任务提示，分解任务并规划一系列子任务和相应的动作序列。
执行（Acting）：智能体根据规划阶段的输出，通过发送鼠标和键盘动作命令来操纵计算机界面。
反思（Reflecting）：智能体评估执行动作后的结果，决定是否需要重试、继续或调整计划。
数据集和评估：
ScreenAgent数据集包含了完成各种日常计算机任务时的屏幕截图和动作序列，用于训练和评估模型。
CC-Score（Vision Language Computer Control Score）是一个细粒度的评估指标，用于衡量智能体在计算机控制任务中的表现。
模型训练：
ScreenAgent 模型通过在 ScreenAgent 数据集上进行训练，学习如何有效地规划、执行和反思以完成复杂的计算机控制任务。训练过程中采用多种技术，如监督学习、强化学习以及人类反馈循环（RLHF）等。
© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有，未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
相关文章
-
CHANGER是什么？一文让你看懂CHANGER的技术原理、主要功能、应用场景2025-04-05 -
Kiroku是什么？一文让你看懂Kiroku的技术原理、主要功能、应用场景2025-04-05
-
Vision Search Assistant是什么？一文让你看懂Vision Search Assistant的技术原理、主要功能、应用场景2025-04-05
-
MVDrag3D是什么？一文让你看懂MVDrag3D的技术原理、主要功能、应用场景2025-04-05
-
Chonkie是什么？一文让你看懂Chonkie的技术原理、主要功能、应用场景2025-04-05
-
MSQA是什么？一文让你看懂MSQA的技术原理、主要功能、应用场景2025-04-05
卓商AI
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
最新发布
1
2
3
4
5
6
7
8
9
10
猜你喜欢
storymania ai story generator
与AI -Power的平台与Storymania进行工艺吸引人的故事，旨在协助各个级别的作家。在干净，无广告的环境中享受无缝的编辑和类型定制。在创纪录...
aibooktools
使用Aibooktools，您可以将书籍快速转化为可行的见解 - 所有这些都没有长时间的阅读或手动数据输入。凭借AI的力量，您可以充分利用自己喜欢的书...
Vapi
Vapi 是一个为开发者设计的语音 AI 代理平台，支持企业从初创公司到财富 500 强的各种需求。其灵活的 API 设计和多种语言支持使得它在电话运...
Grimo
Grimo 是一个高效的 AI 文本编辑器，结合最新的 AI 模型，如 DeepSeek R1 和 OpenAI GPT-4，致力于提升用户的写作体验...
纳米搜索
纳米搜索是一款能够模拟人类思维过程的搜索工具，它通过专家协同（CoE）的慢思考模式，为用户提供了一种全新的搜索体验。该产品通过分析用户的搜索需求，不仅...
Voz AI Note Taker
Voz AI Note Taker是一个利用人工智能技术自动记录、转录和总结讲座、通话和视频内容的生产力工具。它通过自动化的方式生成结构化笔记，帮助用...
Quillminds
Quillminds是一个AI驱动的学习平台，旨在通过人工智能工具革新学习、教学和成长的方式，提升学生和教育工作者的创造力、生产力和成就。平台提供个性...
AI Cover Letter Creator
AI求职助手是一款使用人工智能技术生成个性化求职信的工具。用户只需提供自己的简历和职位描述，AI求职助手将自动生成定制的求职信。该工具提供方便快捷的方...
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
