RDT是什么?一文让你看懂RDT的技术原理、主要功能、应用场景

来源:卓商AI
发布时间:2025-04-05

RDT概述简介

RDT(Robotics Diffusion Transformer)是清华大学AI研究院TSAIL团队推出的全球最大的双臂机器人操作任务扩散基础模型。RDT具备十亿参数量,能在无需人类操控的情况下,自主完成复杂任务,如调酒和遛狗。RDT基于模仿学习人类动作,展现出强大的泛化能力和操作精度,能处理未见过的物体和场景。清华团队已将RDT的代码、模型和训练数据集开源,推动机器人技术的发展和应用。

RDT的功能特色

双臂协调操作:指挥机器人的双臂协同工作,完成复杂的物理任务,例如调酒和遛狗。

自主任务执行:无需人类直接操控,自主完成之前未见过的全新任务。

高精确度操作:RDT能进行精确的操作,如控制机器狗走直线,需要极高的操作精度。

语言指令理解:理解并遵循人类的自然语言指令,执行相应的动作。

少样本学习:RDT具有强大的学习能力,只需少量演示能学会新技能。

RDT的技术原理

多模态输入编码:RDT结合语言、视觉和动作三种模态,基于不同的编码方式处理输入。

动作编码:具有傅里叶特征的多层感知机(MLP)。

图片编码:基于经过对齐的SigLIP。

语言编码:使用T5-XXL语言大模型。

Transformer骨干网络:RDT采用Transformer作为骨干网络,针对机器人操作进行关键修改。

QKNorm和RMSNorm:缓解传感器失灵导致的极端值问题。

非线性MLP解码器:增强对非线性动力学的近似能力。

交替注入:平衡图像和文本模态,防止信息淹没。

预训练与微调:RDT在大规模的具身数据集上进行预训练,获得泛化性,基于高质量的双臂微调数据集进行微调,增强双臂操作能力。

统一动作空间:构建统一的动作空间统一不同机器人数据的格式,让模型从不同数据中学习共享的物理规律。

泛化性和操作精度测试:设计挑战性任务,评估RDT的泛化能力和操作精度,确保在实际应用中的有效性。

RDT项目介绍

项目官网:rdt-robotics.github.io/rdt-robotics

GitHub仓库:https://github.com/thu-ml/RoboticsDiffusionTransformer

HuggingFace模型库:https://huggingface.co/robotics-diffusion-transformer/rdt-1b

arXiv技术论文:https://arxiv.org/pdf/2410.07864

RDT能做什么?

餐饮服务:用在自动化调酒、烹饪和上菜等任务,提高餐饮服务业的效率和创新性。

家庭助理:在家庭环境中,执行清洁、整理、洗衣等家务任务,还能照顾宠物,如遛狗。

医疗辅助:辅助医护人员进行一些常规的护理工作,比如分发药物、搬运医疗设备等。

工业自动化:在制造业中,用在精密的装配工作、质量检测及物料搬运等任务。

灾难救援:在灾难现场执行搜索和救援任务,尤其是在人类难以到达或者危险的环境中。

© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有,未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
卓商AI
卓商AI

AI爱好者的一站式人工智能AI工具箱,累计收录全球10,000⁺好用的AI工具软件和网站,方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用,力争做全球排名前三的AI网址导航网站,欢迎您成为我们的一员。

猜你喜欢
  • Glif StyleHunter
    Glif StyleHunter Glif StyleHunter是一款Chrome浏览器扩展,你可以在网页上选择任意图像,并根据你的提示词生成各种风格的混合图像。只需右键点击图像并输...
  • 漫话开发者UWL.ME
    漫话开发者UWL.ME 漫话开发者 - UWL.ME 是一个专注于人工智能前沿科技和开源产品的平台,提供最新的AI技术动态、开源产品介绍、以及相关领域的深度分析。它不仅为开发...
  • Graphiti
    Graphiti Graphiti 是一个专注于构建动态时序知识图谱的技术模型,旨在处理不断变化的信息和复杂的关系演变。它通过结合语义搜索和图算法,支持从非结构化文本和...
  • Companion Ai
    Companion Ai Companion AI是一款智能助手应用程序,提供Chat GPT和Google Bard两种聊天AI模型供选择。它可以帮助用户进行自然语言交互,提...
  • Tables by Playmaker
    Tables by Playmaker Playmaker是一个能够将PDF、图片、电子表格或网页数据转换成清晰、可操作表格数据的平台。它通过自动化流程,减少手动文档处理的重复性工作,提高效...
  • LFMs
    LFMs Liquid Foundation Models (LFMs) 是一系列新型的生成式AI模型,它们在各种规模上都达到了最先进的性能,同时保持了更小的内...
  • Mann-E Art
    Mann-E Art Mann-E Art是由Mann-E公司开发的一款基于Stable Diffusion XL的图像生成模型,专注于生成接近midjourney艺术风格...
  • AIMusicGen.AI
    AIMusicGen.AI AIMusicGen.AI 是一款基于人工智能的在线音乐生成平台,通过先进的深度学习技术,能够将用户的文字描述或歌词快速转化为高质量的音乐作品。其主要...