上一篇
HiCo是什么？一文让你看懂HiCo的技术原理、主要功能、应用场景
Ferret-UI 2是什么？一文让你看懂Ferret-UI 2的技术原理、主要功能、应用场景
来源：卓商AI
发布时间：2025-04-05
Ferret-UI 2概述简介
Ferret-UI 2是苹果公司推出的多模态大型语言大模型，用在理解和交互移动用户界面。Ferret-UI 2能识别和理解各种移动设备屏幕上的UI元素，执行复杂的用户指令，实时观察用户在移动设备屏幕上的操作，随时准备提供帮助和执行任务。Ferret-UI 2相较于早期版本进行了大幅改进和更新。基于高分辨率图像编码和先进的数据训练方法，提升UI元素的识别精度和交互能力，用户能更自然、高效地与智能设备互动。
Ferret-UI 2的功能特色
多平台支持：Ferret-UI 2能处理包括iPhone、Android、iPad、Webpage和AppleTV在内的多种平台的用户界面。
高分辨率图像感知：基于自适应缩放技术，Ferret-UI 2能在保持原始UI截图分辨率的同时，实现更准确的视觉元素识别。
高级任务训练数据生成：基于GPT-4o和set-of-mark视觉提示，Ferret-UI 2生成用于复杂任务的训练数据，提升模型对UI元素空间关系的理解。
用户中心交互：Ferret-UI 2能理解、执行用户为中心的交互任务，如确认提交、点击按钮等，不仅仅是机械点击。
跨平台迁移能力：Ferret-UI 2展示了强大的跨平台转移能力，能在不同的平台之间迁移和适应。
Ferret-UI 2的技术原理
多模态大型语言大模型（MLLM）：结合视觉感知和语言处理的能力，理解和生成对UI的复杂交互。
自适应N网格机制：基于算法确定最优的网格大小，用最小的分辨率失真和像素变化编码UI截图的每个部分。
动态高分辨率图像编码：用CLIP图像编码器提取全局和局部特征，将特征送入大型语言大模型（LLM）。
视觉采样器：根据用户指令识别、选择相关的UI区域，输出对UI元素的感知或交互描述。
set-of-mark（SoM）视觉提示：在生成训练数据时，用SoM提示增强模型对UI元素空间关系的理解，特别是在多轮感知和交互问答任务中。
端到端训练：模型通过端到端的训练过程，从原始数据注释中学习，生成高质量的训练数据并优化模型性能。
Ferret-UI 2项目介绍
arXiv技术论文：https://arxiv.org/pdf/2410.18967
Ferret-UI 2能做什么？
智能手机和平板电脑：Ferret-UI 2能理解、执行用户在iOS和Android设备上的各种指令，如导航应用程序、发送消息、设置提醒等。
网络浏览：在网页浏览中，帮助用户更有效地与网页元素交互，比如点击按钮、填写表单、导航链接等。
智能电视：对于Apple TV等智能电视平台，提供语音控制和其他交互方式，增强用户体验。
多任务环境：在需要同时处理多个应用程序或窗口的场景中，帮助用户更高效地管理和切换不同的任务。
辅助技术：集成到辅助技术中，帮助残障人士通过语音命令或其他输入方式与设备交互。
© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有，未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
相关文章
-
CHANGER是什么？一文让你看懂CHANGER的技术原理、主要功能、应用场景2025-04-05 -
Kiroku是什么？一文让你看懂Kiroku的技术原理、主要功能、应用场景2025-04-05
-
Vision Search Assistant是什么？一文让你看懂Vision Search Assistant的技术原理、主要功能、应用场景2025-04-05
-
MVDrag3D是什么？一文让你看懂MVDrag3D的技术原理、主要功能、应用场景2025-04-05
-
Chonkie是什么？一文让你看懂Chonkie的技术原理、主要功能、应用场景2025-04-05
-
MSQA是什么？一文让你看懂MSQA的技术原理、主要功能、应用场景2025-04-05
卓商AI
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
最新发布
1
2
3
4
5
6
7
8
9
10
猜你喜欢
aibooktools
使用Aibooktools，您可以将书籍快速转化为可行的见解 - 所有这些都没有长时间的阅读或手动数据输入。凭借AI的力量，您可以充分利用自己喜欢的书...
digital bible
探索开创性的数字圣经，采用AI驱动的技术来回答您有关圣经的问题。从大量信息中获取即时，准确的响应，使您可以以全新的方式探索圣经。...
Exponent
Exponent 是一款协作式 AI 编程代理，旨在提升软件开发的效率与体验。它能够在多种环境中工作，从代码的探索到部署，能够帮助开发者自动化复杂的编...
GitDiagram
GitDiagram是一个在线工具，可以将GitHub上的任何仓库转换成交互式图表，便于用户快速理解和可视化项目结构。这个工具对于开发者和项目管理者来...
aiXcoder-7B
aiXcoder-7B是一个拥有70亿参数的代码大模型，专为企业级软件开发设计。其性能超越340亿参数的Codellama模型，在真实开发场景下表现卓...
RolePlai - Ai Chatbots
RolePlai是一款革命性的AI聊天机器人应用程序，具有世界上最先进的AI技术，让您感觉像在与真人交谈。这款前沿的应用程序允许您立即创建任何名人、公...
Voz AI Note Taker
Voz AI Note Taker是一个利用人工智能技术自动记录、转录和总结讲座、通话和视频内容的生产力工具。它通过自动化的方式生成结构化笔记，帮助用...
PDFJourney
PDFJourney 是一个旨在为用户提供快速且经济的PDF创建服务的网站。它通过简化用户界面和操作流程，使得用户能够轻松地创建PDF文件。该产品的主...
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
