机器人开源数据集汇总及下载

type

status

date

slug

summary

Open X-Embodiment

Open X-Embodiment Dataset 是由谷歌 DeepMind 联手斯坦福大学等 21 个科研机构共同创建的超大规模开源真实机器人数据集。该数据集旨在为机器人学习领域提供一个大规模、多样化的数据资源，以推动机器人策略的泛化和跨平台学习能力。

数据集特点

大规模数据：包含超过 100 万条真实机器人轨迹，涵盖 22 个不同机器人平台。

多样性：数据集整合了 60 个已有数据集，覆盖从单臂机器人到双手机器人和四足机器人等多种类型的机器人。

标准化：所有源数据集统一转化为 RLDS 格式，便于下载和使用。

丰富的技能和任务：包含 527 种技能和 160,266 个任务，数据量达 1,402,930 条（共约 3600G）。

数据处理

多视角处理：对于存在多视角的数据集，仅选择其中“canonical”的一个视角图像（可能是比较接近 top-down 第一人称视角或 Proprioception 的那一个）。

图像尺寸调整：将图像 resize 到 320×256（width×height）。

动作转换：将原有的动作（如关节位置）转换为末端执行器的动作，动作量可能为相对值或绝对值。

数据集构成

机器人类型：数据集中涉及的机器人包括单臂、双臂和四足机器人，其中 Franka 机器人占多数。

主要贡献者：xArm 在数据量上占最大头，主要是 language table 的数据集体量很大，有 44 万条；Kuka iiwa 主要来自于 QT-Opt 的贡献；还有 Google Robot 上采集的 RT1 数据。

数据集下载

数据集可视化

Google Colab

https://colab.research.google.com/github/google-deepmind/open_x_embodiment/blob/main/colabs/Open_X_Embodiment_Datasets.ipynb

数据集详细构成

Open X-Embodiment Dataset Overview.xlsx

95.4KB

数据集名称	机器人平台	片段数量	大小/GB	机器人形态
RT-1 Robot Action	Google Robot	73,499	111.06	Mobile Manipulator
QT-Opt	Kuka iiwa	580,392	778.02	Single Arm
Berkeley Bridge	WidowX	25,460	387.49	Single Arm
Freiburg Franka Play	Franka	3,242	47.77	Single Arm
USC Jaco Play	Jaco 2	976	9.24	Single Arm
Berkeley Cable Routing	Franka	1,482	4.67	Single Arm
Roboturk	Sawyer	2,144	45.39	Single Arm
NYU VINN	Hello Stretch	435	7.12	Mobile Manipulator
Austin VIOLA	Franka	135	10.4	Single Arm
Berkeley Autolab UR5	UR5	896	76.39	Single Arm
TOTO Benchmark	Franka	901	127.66	Single Arm
Language Table	xArm	442,226	399.22	Single Arm
Columbia PushT Dataset	UR5	122	2.8	Single Arm
Stanford Kuka Multimodal	Kuka iiwa	3,000	31.98	Single Arm
NYU ROT	xArm	14	0.01	Single Arm
Stanford HYDRA	Franka	550	72.48	Single Arm
Austin BUDS	Franka	50	1.49	Single Arm
NYU Franka Play	Franka	456	5.18	Single Arm
Maniskill	Franka	30,000	151.05	Single Arm
Furniture Bench	Franka	5100	110	Single Arm
CMU Franka Exploration	Franka	200	0.59	Single Arm
UCSD Kitchen	xArm	150	1.33	Single Arm
UCSD Pick Place	xArm	1,355	3.53	Single Arm
Austin Sailor	Franka	250	18.85	Single Arm
Austin Sirius	Franka	600	6.55	Single Arm
BC-Z	Google Robot	39,350	80.54	Mobile Manipulator
USC Cloth Sim	Franka	1,000	0.25	Single Arm
Tokyo PR2 Fridge Opening	PR2	64	0.35	Single Arm
Tokyo PR2 Tabletop Manipulation	PR2	192	0.81	Single Arm
Saytap	Unitree A1	20	0.05	Quadrupedal Robot
UTokyo xArm PickPlace	xArm	95	1.29	Single Arm
UTokyo xArm Bimanual	xArm Bimanual	70	0.14	Bi-Manual
Robonet	Multi-Robot	82,432	799.91	Single Arm
Berkeley MVP Data	xArm	480	12.34	Single Arm
Berkeley RPT Data	Franka	960	40.64	Single Arm
KAIST Nonprehensile Objects	Franka	201	11.71	Single Arm
QUT Dynamic Grasping	Franka	812	ㅤ	Single Arm
Stanford MaskVIT Data	Sawyer	9,200	76.17	Single Arm
LSMO Dataset	Cobotta	50	0.33	Single Arm
DLR Sara Pour Dataset	DLR SARA	100	2.92	Single Arm
DLR Sara Grid Clamp Dataset	DLR SARA	100	1.65	Single Arm
DLR Wheelchair Shared Control	DLR EDAN	100	3.09	Single Arm
ASU TableTop Manipulation	UR5	110	0.72	Single Arm
Stanford Robocook	Franka	2,460	124.62	Single Arm
ETH Agent Affordances	Franka	120	17.27	Mobile Manipulator
Imperial Wrist Cam	Sawyer	170	0.08	Single Arm
CMU Franka Pick-Insert Data	Franka	520	50.29	Single Arm
QUT Dexterous Manpulation	Franka	200	ㅤ	Mobile Manipulator
MPI Muscular Proprioception	PAMY2	256	ㅤ	Single Arm
UIUC D3Field	Kinova Gen3	196	15.82	Single Arm
Austin Mutex	Franka	1,500	20.79	Single Arm
Berkeley Fanuc Manipulation	Fanuc Mate	415	8.85	Single Arm
CMU Food Manipulation	Franka	4,200	720	Single Arm
CMU Play Fusion	Franka	576	6.68	Single Arm
CMU Stretch	Hello Stretch	135	0.71	Mobile Manipulator
RECON	Jackal	11,830	18.73	Wheeled Robot
CoryHall	RC Car	7,328	1.39	Wheeled Robot
SACSoN	TurtleBot 2	3,000	7	Wheeled Robot
RoboVQA	Google Robot	61,153	ㅤ	3 embodiments: single-armed robot, single-armed human, single-armed human using grasping tools
ALOHA	ViperX Bimanual	451	ㅤ	Bi-Manual
DROID	Franka	92233	1670	Single Arm
ConqHose	Spot	139	2.71	Mobile Manipulator
DobbE	Hello Stretch	5208	21.1	Mobile Manipulator
FMB	Franka	1804	356.5	Single Arm
IO-AI Office PicknPlace	Human	3847	89.33	Human
MimicPlay	Franka	378	7.13	Single Arm
MobileALOHA	MobileALOHA	276	47.83	Mobile Manipulator
RoboSet	Franka	18250	178.65	Single Arm
TidyBot	TidyBot	24	0.02	Mobile Manipulator
VIMA	UR5	660103	1390	Single Arm
SPOC	Hello Stretch	233000	765	Single Arm
Plex RoboSuite	Franka	450	1.26	Single Arm

AgiBot World

AgiBot World 是智元机器人开源的百万真机数据集，旨在推动具身智能的发展。该数据集包含超过 100 万条轨迹，覆盖家居、餐饮、工业、商超和办公等五大核心场景。数据集的采集依托于配备 8 个摄像头和 6 个自由度的灵巧手的机器人平台。与谷歌的 Open X-Embodiment 数据集相比，AgiBot World 的长程数据规模高出 10 倍，场景范围覆盖面扩大 100 倍，数据质量从实验室级上升到工业级标准。

数据集特点