上一篇
SmoothCache是什么？一文让你看懂SmoothCache的技术原理、主要功能、应用场景
AutoConsis是什么？一文让你看懂AutoConsis的技术原理、主要功能、应用场景
来源：卓商AI
发布时间：2025-04-05
AutoConsis概述简介
AutoConsis是UI内容一致性智能检测工具，是美团技术团队与复旦大学联合推出的。工具基于深度学习和大型语言大模型自动识别和提取界面中的关键数据，检测并识别数据间的不一致性问题。AutoConsis能提升用户体验，减少因数据展示错误导致的用户困扰，减轻测试人员的工作负担。AutoConsis在实际应用中表现出低成本、高泛化性和高置信度的优势，对大前端UI质量保障具有重要意义。
AutoConsis的功能特色
目标区域识别：首先识别UI界面中与检测相关的关键区域，基于图像处理和模式识别技术定位包含重要信息的UI部分。
目标信息提取：在目标区域确认后，工具用OCR技术和UI组件分析提取目标区域的文本和元素，用大语言大模型（LLM）推理提取一致性校验所需的关键信息。
一致性校验：对提取出的信息进行一致性校验，确保UI信息的准确性和一致性，包括数值逻辑类型和语义类型的校验。
自动化智能检测流程：实现一套自动化智能检测流程，能低成本、高泛化性、高置信度地检测UI内容一致性。
多业务场景适应：工具能适应不同页面模板、技术栈、App，自动进行适配，覆盖多类业务、多样化布局。
AutoConsis的技术原理
多模态深度学习模型：用多模态深度学习模型分析GUI页面，结合图像和文本信息提高识别的准确性。
大型语言大模型（LLM）：LLM提取文本中的深层语义信息，识别和解析关键数据。
目标检测和内容理解：将UI页面分析任务转化为目标检测和内容理解的组合，用大模型的能力实现对不同技术栈页面的适应。
OCR和UI组件分析：用OCR技术提取文本信息，结合UI组件分析工具提取元素，填入预设的CoT Prompt（Chain of Thought Prompt），基于大模型推理提取关键信息。
一致性校验规则：根据预定义的数值逻辑和语义规则，判断提取出的UI内容的一致性，用规则直接检查数值逻辑类型的一致性，对于复杂的语义规则则借助LLM的理解能力实现校验。
信息提取Prompt设计：针对大语言大模型常见的“幻觉”问题，设计包含上下文学习的Prompt（CoT），提高信息提取的准确性。
多模态UI区域识别：基于视觉语义的识别模型CLIP进行目标区域识别，用图像和文本的语义映射在高维向量空间中进行匹配，提高识别的泛化性和准确性。
AutoConsis项目介绍
技术论文：https://dl.acm.org/doi/10.1145/3639477.3639748
AutoConsis能做什么？
电子商务平台：在电商平台中，检测商品详情页、购物车页和结算页之间的价格和库存信息是否一致，确保用户在不同页面看到的信息是准确且同步的。
营销活动验证：在促销和营销活动中，验证不同页面上关于折扣、优惠和活动规则的描述是否一致，避免因信息不一致导致的用户困惑。
金融应用：在金融应用中，检测账户余额、交易记录和投资回报等关键财务数据在不同页面的显示是否一致。
旅游和酒店预订：在旅游和酒店预订应用中，检查不同页面上的价格、可用性和预订条款是否一致，提升用户体验。
社交媒体和内容平台：在社交媒体和内容平台中，检测用户个人资料、帖子和评论中的数据和信息是否一致。
© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有，未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
相关文章
-
CHANGER是什么？一文让你看懂CHANGER的技术原理、主要功能、应用场景2025-04-05 -
Kiroku是什么？一文让你看懂Kiroku的技术原理、主要功能、应用场景2025-04-05
-
Vision Search Assistant是什么？一文让你看懂Vision Search Assistant的技术原理、主要功能、应用场景2025-04-05
-
MVDrag3D是什么？一文让你看懂MVDrag3D的技术原理、主要功能、应用场景2025-04-05
-
Chonkie是什么？一文让你看懂Chonkie的技术原理、主要功能、应用场景2025-04-05
-
MSQA是什么？一文让你看懂MSQA的技术原理、主要功能、应用场景2025-04-05
卓商AI
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
最新发布
1
2
3
4
5
6
7
8
9
10
猜你喜欢
Postcards 3
Postcards是一款强大的无代码电子邮件生成器，可帮助您在几分钟内创建惊艳且响应式的HTML电子邮件模板。它适用于各种规模的企业，无需设计限制和编...
tomusic
生成文字来歌曲并立即制作AI音乐。在文本上指定到音乐转换器，并立即生成歌曲。制作音乐并将您的歌词添加到Tomusic上的歌曲中。...
Tulsk.io
Tulsk是一个AI项目管理与协作平台，通过自定义模板、与AI项目经理的聊天以及团队协作功能，提升工作效率。重新定义您的工作方式，尝试Tulsk.io...
ollama-ebook-summary
ollama-ebook-summary 是一个利用大型语言模型（LLM）为长文本创建要点笔记摘要的项目。该项目特别适用于epub和pdf格式的书籍，...
OneTone.ai
OneTone.ai Supervisor是一款面向客户支持和质量保证领导者的AI监督工具，它监控导致客户和收入损失的问题，以及所有书面客户交流的质量...
Cover Letter Copilot
职位申请助手是一款使用AI技术生成个性化职位申请信的工具。它可以帮助用户快速生成符合要求的求职信，减轻求职压力。用户只需上传简历并粘贴职位描述，AI会...
Doublezero
Doublezero 是一款面向知识工作者的 AI 协助工具，旨在通过智能代理帮助用户自动化处理繁琐的重复性任务。它支持与多种常用应用程序集成，用户可...
Qwen2.5-Coder-14B
Qwen2.5-Coder-14B是Qwen系列中专注于代码的大型语言模型，覆盖了0.5到32亿参数的不同模型尺寸，以满足不同开发者的需求。该模型在代...
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
