上一篇
OuteTTS是什么？一文让你看懂OuteTTS的技术原理、主要功能、应用场景
GTA是什么？一文让你看懂GTA的技术原理、主要功能、应用场景
来源：卓商AI
发布时间：2025-04-05
GTA概述简介
GTA（a benchmark for General Tool Agents）是上海交通大学和上海AI实验室一起推出的基准测试，评估大型语言大模型（LLMs）在真实世界场景中调用工具的能力。GTA基于提供真实的用户问题、真实部署的工具和多模态输入输出，建立一个全面、细粒度的评估框架，有效衡量LLMs在复杂场景下的工具使用能力。GTA包含229个人类设计的问题，覆盖感知、操作、逻辑和创造力等多个类别，要求模型推理合适的工具，规划操作步骤，解决现实世界中的复杂任务。
GTA的功能特色
真实用户查询：包含229个人类编写的问题，问题具有简单的现实世界目标，但解决步骤和所需工具是隐含的，要求LLM基于推理选择合适的工具、规划操作步骤。
真实部署的工具：GTA提供一个评估平台，部署涵盖感知、操作、逻辑和创造力四大类别的14种工具，评估代理的实际任务执行性能。
多模态输入输出：GTA引入空间场景、网页截图、表格、代码片段、手写/打印材料等多模态输入，要求模型处理丰富的上下文信息，给出文本或图像输出。
细粒度评估：GTA设计细粒度的评估指标，包括指令遵循准确率（InstAcc）、工具选择准确率（ToolAcc）、参数预测准确率（ArgAcc）和答案总结准确率（SummAcc），及最终答案准确率（AnsAcc）。
模型评测：GTA在逐步模式（step-by-step mode）和端到端模式（end-to-end mode）下评估语言大模型，提供对模型工具使用能力的全面评估。
GTA的技术原理
数据集构建：GTA的数据集构建包括问题构建和工具链构建两个步骤。问题由专家设计样例和标注文档，由标注人员基于样例设计更多的问题。工具链由标注人员手动调用部署好的工具构建，确保每个问题都能用提供的工具解决。
工具调用：GTA用ReAct风格的提示模板，让LLM用特定的格式调用工具，处理工具返回的结果。模板支持LLM进行推理和规划，决定何时及如何调用工具。
多模态处理：GTA要求LLM处理和理解多模态输入，包括图像、文本等，要求模型具备跨模态的理解和推理能力。
细粒度评估指标：GTA设计的评估指标覆盖工具调用的整个过程，从LLM的工具调用过程到执行结果，提供对模型性能的全面评估。
模型比较：基于比较不同模型在GTA上的表现，揭示现有模型在处理真实世界问题时面临的工具使用瓶颈，为未来的通用工具智能体提供改进方向。
GTA项目介绍
项目官网：open-compass.github.io/GTA
GitHub仓库：https://github.com/open-compass/GTA
HuggingFace模型库：https://huggingface.co/datasets/Jize1/GTA
arXiv技术论文：https://arxiv.org/pdf/2407.08713
GTA能做什么？
智能助理开发：GTA评估和训练智能助理，让其更好地理解和执行复杂的用户请求，涉及多步骤和多种工具的调用。
多模态交互：在需要处理图像、文本和其他多媒体内容的场景中，GTA帮助模型学习如何结合多种输入类型解决问题。
自动化客户服务：GTA用在开发自动解决客户问题的系统，系统需要调用不同的工具和资源提供准确的答案和解决方案。
教育和培训：GTA作为教育工具，帮助学生理解如何设计和实现复杂的任务，任务需要多步骤推理和工具使用。
研究和开发：开发人员用GTA测试和比较不同的LLMs，探索工具使用能力的新方法，推动AI技术的发展。
© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有，未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
相关文章
-
CHANGER是什么？一文让你看懂CHANGER的技术原理、主要功能、应用场景2025-04-05 -
Kiroku是什么？一文让你看懂Kiroku的技术原理、主要功能、应用场景2025-04-05
-
Vision Search Assistant是什么？一文让你看懂Vision Search Assistant的技术原理、主要功能、应用场景2025-04-05
-
MVDrag3D是什么？一文让你看懂MVDrag3D的技术原理、主要功能、应用场景2025-04-05
-
Chonkie是什么？一文让你看懂Chonkie的技术原理、主要功能、应用场景2025-04-05
-
MSQA是什么？一文让你看懂MSQA的技术原理、主要功能、应用场景2025-04-05
卓商AI
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
最新发布
1
2
3
4
5
6
7
8
9
10
猜你喜欢
shakker ai
Shakker革命性的图像创建：只需上传参考照片，它建议您从庞大的图像库中推荐样式，从而易于制作完美的图像。除了样式转换之外，Shakker还提供了高...
Iconik AI
Iconik AI是一款使用人工智能生成应用程序图标的免费工具。它可以在5分钟内为Android、iOS和Web应用程序生成惊人的应用程序图标，无需设...
墨刀 AI
墨刀 AI是一款免费使用的产品设计协作平台，提供高保真交互原型设计、团队协作、海量素材等功能，适用于多种工作场景。墨刀 AI可以快速完成全流程产品设计...
PencilsOut
PencilsOut是一个连接AI艺术的平台，通过生成式AI技术，将设计过程简化为拼图的方式。用户可以使用简单的建筑块开始设计，并将多个块连接起来构建...
DreamMuse
DreamMuse是一款基于人工智能和心理健康研究的梦境记录应用，它允许用户记录、组织梦境，并从中获得洞察。该应用通过AI技术将梦境碎片转化为具体目标...
Praison AI
Praison AI 是一个低代码的集中式框架，旨在简化各种大型语言模型（LLM）应用的多代理系统的创建和编排。它强调易用性、可定制性和人机交互。Pr...
OpenHands
OpenHands是由All Hands AI开发的开源AI软件工程师，旨在帮助开发者处理积压的工作，让他们能够专注于解决难题、创造性挑战和过度工程化...
Bnomial ai
智能翻译助手是一款功能强大的语言翻译工具，支持多种语言互译，能够帮助用户实现即时翻译并解决语言沟通难题。其优势在于准确度高、响应快、界面简洁易用。产品...
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
