上一篇
Veo 2是什么？一文让你看懂Veo 2的技术原理、主要功能、应用场景
RDT是什么？一文让你看懂RDT的技术原理、主要功能、应用场景
来源：卓商AI
发布时间：2025-04-05
RDT概述简介
RDT（Robotics Diffusion Transformer）是清华大学AI研究院TSAIL团队推出的全球最大的双臂机器人操作任务扩散基础模型。RDT具备十亿参数量，能在无需人类操控的情况下，自主完成复杂任务，如调酒和遛狗。RDT基于模仿学习人类动作，展现出强大的泛化能力和操作精度，能处理未见过的物体和场景。清华团队已将RDT的代码、模型和训练数据集开源，推动机器人技术的发展和应用。
RDT的功能特色
双臂协调操作：指挥机器人的双臂协同工作，完成复杂的物理任务，例如调酒和遛狗。
自主任务执行：无需人类直接操控，自主完成之前未见过的全新任务。
高精确度操作：RDT能进行精确的操作，如控制机器狗走直线，需要极高的操作精度。
语言指令理解：理解并遵循人类的自然语言指令，执行相应的动作。
少样本学习：RDT具有强大的学习能力，只需少量演示能学会新技能。
RDT的技术原理
多模态输入编码：RDT结合语言、视觉和动作三种模态，基于不同的编码方式处理输入。
动作编码：具有傅里叶特征的多层感知机（MLP）。
图片编码：基于经过对齐的SigLIP。
语言编码：使用T5-XXL语言大模型。
Transformer骨干网络：RDT采用Transformer作为骨干网络，针对机器人操作进行关键修改。
QKNorm和RMSNorm：缓解传感器失灵导致的极端值问题。
非线性MLP解码器：增强对非线性动力学的近似能力。
交替注入：平衡图像和文本模态，防止信息淹没。
预训练与微调：RDT在大规模的具身数据集上进行预训练，获得泛化性，基于高质量的双臂微调数据集进行微调，增强双臂操作能力。
统一动作空间：构建统一的动作空间统一不同机器人数据的格式，让模型从不同数据中学习共享的物理规律。
泛化性和操作精度测试：设计挑战性任务，评估RDT的泛化能力和操作精度，确保在实际应用中的有效性。
RDT项目介绍
项目官网：rdt-robotics.github.io/rdt-robotics
GitHub仓库：https://github.com/thu-ml/RoboticsDiffusionTransformer
HuggingFace模型库：https://huggingface.co/robotics-diffusion-transformer/rdt-1b
arXiv技术论文：https://arxiv.org/pdf/2410.07864
RDT能做什么？
餐饮服务：用在自动化调酒、烹饪和上菜等任务，提高餐饮服务业的效率和创新性。
家庭助理：在家庭环境中，执行清洁、整理、洗衣等家务任务，还能照顾宠物，如遛狗。
医疗辅助：辅助医护人员进行一些常规的护理工作，比如分发药物、搬运医疗设备等。
工业自动化：在制造业中，用在精密的装配工作、质量检测及物料搬运等任务。
灾难救援：在灾难现场执行搜索和救援任务，尤其是在人类难以到达或者危险的环境中。
© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有，未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
相关文章
-
CHANGER是什么？一文让你看懂CHANGER的技术原理、主要功能、应用场景2025-04-05 -
Kiroku是什么？一文让你看懂Kiroku的技术原理、主要功能、应用场景2025-04-05
-
Vision Search Assistant是什么？一文让你看懂Vision Search Assistant的技术原理、主要功能、应用场景2025-04-05
-
MVDrag3D是什么？一文让你看懂MVDrag3D的技术原理、主要功能、应用场景2025-04-05
-
Chonkie是什么？一文让你看懂Chonkie的技术原理、主要功能、应用场景2025-04-05
-
MSQA是什么？一文让你看懂MSQA的技术原理、主要功能、应用场景2025-04-05
卓商AI
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
最新发布
1
2
3
4
5
6
7
8
9
10
猜你喜欢
Telemetry Harbor
Telemetry Harbor 是一个专注于物联网（IoT）数据管理的平台。它通过提供简单易用的 API 接口，帮助企业或开发者快速收集、存储和分析...
Graphusion
Graphusion是一个用于从文本中提取知识图谱三元组的管道工具。它通过一系列步骤，包括概念提取、候选三元组提取和三元组融合，来构建知识图谱。这个工...
InboxDone
InboxDone 是一家专注于电子邮件管理的虚拟执行助理服务，旨在通过专业的助理团队帮助客户回复电子邮件和管理日历，从而释放客户的时间，让他们能够专...
chatclient ai
通过使用AI和您网站的数据创建自定义聊天机器人的专业聊天机器人构建机器人Chatclient AI来提高网站参与度和效率。轻松集成为无缝客户互动的小部...
talonic
Talonic AI通过可访问的SaaS工具自动化数据管理和分析。借助数据标记，分类和标准化等功能，Talonic AI驱动技术使用户可以与电子表格聊...
Lets get Roasting!
Lets get Roasting!是一款趣味性质的在线应用，用户上传自己办公桌的图片后，AI会智能嘲讽用户的办公桌，让用户感受到嘲讽的快感。为保护用...
zipchat
Zipchat是专门为Shopify商人设计的AI动力聊天机器人。 Zipchat以Shopify徽标集成为特色，使商人可以快速有效地吸引客户，并提高...
SolomonGPT - solution recommender for U
索洛猴是一款AI解决方案产品，通过智能算法和机器学习技术，提供高效的工作辅助和优化方案。产品具有自动化处理、智能推荐、数据分析等功能，帮助用户提升工作...
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
