稚晖君开源百万机器人真机数据集,让机器人可以扫地、做沙拉、烫衣服

全文1464字,阅读约需5分钟,帮我划重点

划重点

01智元机器人发布百万真机数据集AgiBot World,涵盖真实场景和多种硬件平台。

02该数据集包含80余种日常生活中的多样化技能,以及超过100种真实场景和3000多种物品。

03AgiBot World数据集80%的任务为长程任务,时长集中在60s-150s之间,场景范围覆盖面扩大100倍。

04为此,智元机器人配备了8个摄像头的360°感知系统和具有6个主动自由度的灵巧手臂。

052025年,智元机器人将陆续开源百万真机全量数据,并同步推送千万仿真数据。

以上内容由腾讯混元大模型生成,仅供参考

腾讯科技特约作者 周小燕

编辑 郑可君

12月30日,智元机器人连同上海人工智能实验室、国家地方共建人形机器人创新中心及上海库帕思,共同对外发布百万真机数据集开源项目AgiBot World,AgiBot World是一个大规模的机器人数据集,涵盖真实场景和多种硬件平台。

AgiBot World是智元在自建实验基地中打造的大型数据采集平台,该实验基地面积超过4000平方米,包含3000多种物品,复刻家居、餐饮、工业、商超和办公等五大核心场景。通过这些场景,机器人可以进行家务清洁、物品整理、超市货架陈列、餐厅服务、物流搬运等任务,为机器人研发和测试提供了真实的应用环境。

图片

具身智能领域的ImageNet何时到来?

根据智元机器人官方公布,AgiBot World数据集收录了八十余种日常生活中的多样化技能,从抓取、放置、推、拉等基础操作,到搅拌、折叠、熨烫等精细长程、双臂协同复杂交互等。

图片

此外,AgiBot World包含超过100种真实场景、3000多种物品,按家居(40%)、餐饮(20%)、工业(20%)、商超(10%)和办公(10%)进行分布。

图片

场景和任务分布

图片

各个场景物品分类

机器人数据集对于机器人技术的进步非常重要,因为它提供了大量的真实场景和任务,帮助机器人学习如何在不同环境下工作。高质量的数据集能够确保机器人的学习过程更加准确,避免因数据问题而影响其表现。

在全世界,不论是科技巨头,还是科研机构或创业公司,都十分注重构建机器人数据集。

谷歌DeepMind曾通过整合来自22种不同类型机器人的数据,创建了Open X-Embodiment数据集。但这个数据集存在一些问题,比如缺乏统一的采集标准,许多机器人构型已经过时,数据质量不一致,甚至在机器人策略学习时可能引发副作用。

为了实现标准化的数据采集,斯坦福、伯克利、谷歌等团队也创建了DROID数据集,虽然涵盖了丰富的场景和技能,但研究人员指出,DROID中包含大量低质量数据,这会影响机器人的学习效果。

一些初创公司通过自采集的高质量双臂机器人数据,成功训练出了能够执行复杂任务如整理、分拣、洗衣的模型,这证明了高质量数据在具身智能领域的重要性。然而,这些数据集目前仅供公司内部使用,并未公开。

图片

Open X-Embodiment, ICRA 2024

根据智元机器人官方消息,AgiBot World 80%的任务为长程任务,时长集中在60s-150s之间,是DROID和OpenX-Embodiment 工作的5倍。相比于Google开源的Open X-Embodiment数据集,AgiBot World的长程数据规模高出10倍,场景范围覆盖面扩大100倍,数据质量从实验室级上升到工业级标准。

为了实现数据集搜集的精准度和广度,智元机器人表示,AgiBot World配备了8个摄像头的360°感知系统,能够实时全面地监测周围环境的变化。它采用具有6个主动自由度的灵巧手臂,确保能够精确完成如熨衣服等复杂操作。机器人末端配备六维力传感器,并可选配高精度视触觉传感器,能够感知微小的力变化,保证操作的精细度。全身具备最多32个自由度,能够灵活应对洗衣、做饭、分拣、搬运等多种任务。

图片

目前,AgiBot World为机器人提供了一个真实的生产生活环境,接入AgiBot World,机器人可以使用清扫工具对地面进行全面清洁,包括碎屑、灰尘和液体等。

图片

机器人还可以清理家居表面的灰尘和污垢,精确控制掸子或软布进行擦拭,避免划伤表面。

图片

在厨房,机器人可以根据食材种类和沙拉配方,完成切割、混合和装盘操作,也可以控制清洁工具对瓶内外进行刷洗,去除污渍。

图片

机器人通过双手协作,一只手稳稳抓住衬衫的一角,另一只手精准控制挂烫机与衣物的距离,细致地熨烫每一道褶皱,让衣物焕发平整光泽。

图片

2025年,智元机器人将陆续开源百万真机全量数据,并同步推送千万仿真数据。此外,智元机器人宣布会发布具身基座大模型,支持模型微调。