在具身智能机械人领域，，，，，，，数据采集面对着诸多严格的挑战。。。。。

首先，，，，，，，大规模真实数据的采集成本高昂，，，，，，，获取大量真实有效的数据需投入大量人力、物力与功夫，，，，，，，好比在复杂环境中安插多多传感器和监测设备，，，，，，，这不仅设备采购用度高，，，，，，，还涉及装置、守护和更新成本。。。。。

其次，，，，，，，真实世界场景丰硕多样，，，，，，，险些不成能穷尽所有可能，，，，，，，机械人可能在分歧气象前提、地形地貌、社会环境中工作，，，，，，，全面采集这些场景数据是险些无法实现的工作。。。。。

再者，，，，，，，物理世界景象和法规复杂，，，，，，，采集的数据难以齐全涵盖所有有关物理知识，，，，，，，如机械人在复杂力学环境中的活动，，，，，，，可能无法精准捉拿所有力学变动和影响成分。。。。。

另表，，，，，，，分歧传感器采样频率、响应功夫和精度存在差距，，，，，，，导致时空对齐难题，，，，，，，像视觉传感器和力传感器同时采集数据时可能出现功夫误差，，，，，，，影响数据正确性和可用性。。。。。合成数据虽能补充真实数据不及，，，，，，，但因其基于模型和如果天生，，，，，，，与真实世界数据有差距，，，，，，，在真实场景中的泛化能力存疑，，，，，，，例如模拟天生的机械人行走数据，，，，，，，可能无法正确反映现实地形中的意表情况。。。。。分歧构型的机械人结构、职能和活动方式分歧，，，，，，，数据难以复用，，，，，，，人形机械人和轮式机械人的数据因其活动和交互方式差距，，，，，，，通用性较低。。。。。

此表，，，，，，，分歧技术路线对数据采集需要分歧，，，，，，，如基于深度进建和传统节造理论的步骤，，，，，，，对数据类型、规模和质量要求各别，，，，，，，使得数据采集工作需定造化设计，，，，，，，增长了工作的复杂性和难度。。。。。

z6首页PEED的设计，，，，，，，旨在通过衔接分歧数据采集端以及仿真以及数据对齐服求实时天生训练可用的高质量数据，，，，，，，从而解决具身智能数据采集的瓶颈问题。。。。。

目前，，，，，，，z6首页PEED能够部署到仿照进建以及机械人本体等多衷旖台，，，，，，，下一步将接入作为捉拿以及远程节造系统，，，，，，，赋能粤港澳大湾区的出产造作以及机械人研发企业突破数据瓶颈。。。。。

具身智能将人为智能集成到机械人等物理实体中，，，，，，，使它们可能感知、进建并动态地与环境互动。。。。。这种能力使这些机械人可能在社会中有效地提供商品和服务。。。。。在本文中，，，，，，，作者将互联网行业的数据价值与具身智能中的数据价值进行比力，，，，，，，以估算具身智能数据的潜在价值。。。。。此表，，，，，，，还探求了具身智能发展中由数据瓶颈引发的沉大挑战，，，，，，，并钻研了旨在克服这些阻碍的创新数据采集和天生技术。。。。。

数据在互联网和机械人领域都是一种关键的钱币化工具。。。。。我们通过将互联网行业作为汗青基准来探求数据在具身智能中的战术价值。。。。。在互联网行业，，，，，，，公司重要通过用户数据进行定向告白和个性化内容，，，，，，，这种定向步骤不仅增长了销售量，，，，，，，还提升了用户参加度，，，，，，，从而可能带来更高的订阅用度或使用量。。。。。与此同时，，，，，，，在具身智能领域，，，，，，，数据对于训练深度进建模型以加强和优化机械人能力至关沉要。。。。。

图 1 数据已经成为一种钱币化工具

从财政上看，，，，，，，用户数据对互联网公司的价值估计为每用户 600 美元。。。。。全球约有 50 亿互联网用户，，，，，，，总市场价值约为 3 万亿美元。。。。。瞻望具身智能领域，，，，，，，埃隆·马斯克预测将来机械人数量将超过人类。。。。。如果市场鼓和时将有超过 100 亿机械人，，，，，，，思考到每个机械人在大规模贸易化后的估计成本为 35000 美元，，，，，，，我们守旧估计机械人公司愿意投资约每个机械人成本的 3% 用于数据采集和天生。。。。。这项投资旨在开发先进的具身智能能力，，，，，，，从而估算出具身智能数据的市场价值将超过 10 万亿美元，，，，，，，是互联网行业的三倍。。。。。

这项分析突显了具身智能数据的巨大潜力，，，，，，，而目前具身智能数据采集和天生行业还处于初期阶段。。。。。

具身智能的数据瓶颈

固然具身智能数据行业的将来看好，，，，，，，但目前具身智能系统的可扩大性受到严沉的数据瓶颈造约。。。。。与重要由用户天生的、相对容易网络和汇总的互联网数据分歧，，，，，，，具身智能的数据涉及机械人与其动态环境之间的复杂互动。。。。。这一底子差距意味着，，，，，，，互联网数据能够从用户在数自旖台上的活动中挖掘，，，，，，，而具身智能数据则必须捉拿在多样且时时不成预测的环境中的各类物理互动。。。。。

例如，，，，，，，只管现成的谈天数据使得 GPT-4 可能用 570 GB 的文本进行训练，，，，，，，展示出卓越的谈天工作能力，，，，，，，但训练具身智能模型必要大量的机械人数据，，，，，，，由于其拥有多模态个性。。。。。这种机械人数据蕴含各类感官输入和互动类型，，，，，，，不仅极其复杂，，，，，，，并且网络成本高昂。。。。。

训练具身智能的第一个挑战是获得宽泛的高质量和多样化的数据集。。。。。例如，，，，，，，自主导航机械人必要处置大量的环境数据以提升其蹊径规划和阻碍物回避能力。。。。。而数据的精确度将直接影响机械人机能；；；；；；从事高精度工作的工业机械人必要极为正确的数据，，，，，，，微幼的谬误就可能导致出产质量出现沉大问题。。。。。

此表，，，，，，，机械人在分歧环境中适应和推广的能力取决于其处置数据的多样性。。。。。例如，，，，，，，家用服务机械人必须适应各类家庭环境和工作，，，，，，，必要从大量的家庭环境数据中进建以提高其推广能力。。。。。

训练具身智能的第二个挑战是“数据孤岛”。。。。；；；；；；袢∪绱巳娴氖菝娑愿叱杀尽⒐Ψ虺ひ约扒痹诎踩缦盏奶粽。。。。。大无数具身智能机械人组织仅限于在特定的受控环境中网络数据。。。。。不足实体间的数据共享加剧了这种情况，，，，，，，导致沉复劳动和资源浪费，，，，，，，形成“数据孤岛”。。。。。这些孤岛显著故障了具身智能的进展。。。。。

图 2  具身智能数据采集和天生

为相识决具身智能开发中的数据可用性瓶颈，，，，，，，必要一个壮大的数据采集和天生系统，，，，，，，图 2 展示了这样的系统架构。。。。。

系统的第一个组件是捉拿真实世界的数据。。。。。这蕴含从人类与物理环境的互动中网络数据用于仿照进建，，，，，，，如钻研项目 Mobile ALOHA 捉拿复杂的互动工作和 PneuAct 捉拿与人手作为有关的数据。。。。。此表，，，，，，，该管路还涉及从多模态机械人传感器中网络数据，，，，，，，以捉拿机械人对其物理环境的感知。。。。。

其次，，，，，，，鉴于获取大量高质量和多样化的具身智能数据成本过高，，，，，，，基于数字孪生的仿真已经证明是一个有效的解决规划。。。。。它显著降低了数据网络成本并提高了开发效能。。。。。例如，，，，，，，捉拿一幼时的自主车多模态机械人数据成本为 180 美元，，，，，，，而模拟一样数据仅需 2.20 美元——削减了近 100 倍。。。。。此表，，，，，，，Sim2Real 技术的发展推进了技术和知识从仿真环境到现实利用的转移。。。。。这种技术在虚构空间中训练机械人和 AI 系统，，，，，，，使它们可能安全高效地进建工作，，，，，，，而无需面对现实世界的物理风险和限度。。。。。因而，，，，，，，结合真实世界和合成数据是一种克服具身智能数据可用性挑战的战术步骤。。。。。

最后，，，，，，，网络和天生的数据必须进行功夫和空间上的对齐。。。。。这确保了来自分歧传感器的数据既正确又同步，，，，，，，提供了对机械人环境和作为的统一和具体理解。。。。。只有经过这些过程，，，，，，，数据能力有效地用于训练具身智能系统。。。。。

为了应对具身智能数据瓶颈，，，，，，，我们提出了 z6首页PEED，，，，，，，一种用于具身智能的实时数据网络和天生中央件。。。。。总体而言，，，，，，，z6首页PEED 是首个实时具身智能数据网络和天生中央件，，，，，，，提供了一个克服具身智能数据获取阻碍的通用平台。。。。。具身智能数据网络节点：我们开发了轻量级中央件端点，，，，，，，用于捉拿、过滤和传输具身智能数据。。。。。

这些端点可能从人与物理环境的互动中网络数据，，，，，，，用于仿照进建，，，，，，，如 Mobile ALOHA 钻研项目中展示的那样，，，，，，，以及从操作中的机械人多模态传感器中网络数据。。。。。仿真服务：鉴于获取大量高质量和多样化的具身智能数据成本高昂，，，，，，，z6首页PEED 提供了作为服务的仿真，，，，，，，使用真实世界的数据作为种子天生合成数据，，，，，，，大大提高了数据天生的出产力。。。。。数据对齐服务：确保网络和天生的数据经过功夫和空间的对齐是至关沉要的。。。。。z6首页PEED 提供了一个数据对齐服务模浚？？？？，，，，，，，以确保来自分歧传感器的数据既正确又同步，，，，，，，提供了对机械人环境和作为的统一和具体理解。。。。。

z6首页PEED 系统设计

视觉和说话基础模型的最新进展，，，，，，，如大说话模型（LLMs）和对迸罪言-图像预训练（CLIP），，，，，，，为实现机械人智能提供了新步骤。。。。。使用基础模型实现具身智能有两种重要类别。。。。。第一种步骤旨在通过利用预训练的视觉说话模型（VLMs）天生自由大局的文本描述来实现端到端节造。。。。。第二品类别使用模浚？？？？榛头植悴街璐χ镁呱碇悄芄ぷ，，，，，，，利用预训练的大说话模型（LLMs）将复杂的视觉和说话指令分化为一系列界说明确的机械人工作。。。。。对于任何一种步骤，，，，，，，数据都是具身智能的瓶颈，，，，，，，由于物理具身智能数据难以网络且成本高昂。。。。。我们首先介绍具身智能系统的具体信息，，，，，，，以便读者相识 z6首页PEED 的需要。。。。。

z6首页PEED 数据管路旨在以数据流的方式衔接所有节点，，，，，，，以最大化吞吐量和最幼化延长，，，，，，，并为具身智能数据处置提供必要的服务。。。。。这里描述的每个组件都是 z6首页PEED 系统中的一个节点，，，，，，，所有节点共同形成一个数据流图，，，，，，，以推进流线型数据处置，，，，，，，从而最大限度地削减延长和最大化吞吐量。。。。。

为了实现前一节中会商的系统架构，，，，，，，必要一个中央件架构来衔接分歧的组件并托管各类服务。。。。。由于其高机能和在各类机械人为作负载中的盛行，，，，，，，DORA 和 ROS2 这两个中央件框架成为了 z6首页PEED 的骨干候选。。。。。

DORA 旨在支持数据流推算，，，，，，，适合z6首页用例，，，，，，，即以数据流方式处置数据。。。。。出格是，，，，，，，DORA 中的服务被建模为有向图，，，，，，，其中数据通过流传输并由节点处置，，，，，，，通常类似于一系列衔接的节点，，，，，，，称为管路。。。。。这种架构允许高效的数据处置和利用设计的矫捷性。。。。。

相反，，，，，，，ROS2 提供了一个壮大的机械人软件开发框架，，，，，，，强调模浚？？？？榛涂沙劣眯。。。。。它支持宽泛的硬件接口，，，，，，，并占有一个宽泛的工具和库生态系统。。。。。然而，，，，，，，它可能不提供与 DORA 一样的低延长数据流优化。。。。。

图 3  中央件机能对比

为了比力 DORA 和 ROS2 的机能，，，，，，，我们进行了一个尝试丈量了在各类大幼的包（从 8B 到 750MB）上的传输延长，，，，，，，模拟了各类大局的机械人数据。。。。。图 3 总结了该尝试的了局。。。。。X 轴显示了分歧的包大幼，，，，，，，而 Y 轴显示了传输延长，，，，，，，以纳秒为单元，，，，，，，呈对数刻度。。。。。对于幼于 50KB 的包，，，，，，，ROS2 和 DORA 的机能类似，，，，，，，但对于大于 500KB 的包，，，，，，，DORA 显著优于 ROS2。。。。。

一个出格有趣的案例是 5MB 包，，，，，，，这是用于发送图像数据的最常用大幼，，，，，，，ROS2 上的延长始终比 DORA 上的延长约莫 100 倍，，，，，，，我们沉复了 10 次尝试以验证了局。。。。。由于 z6首页PEED 必要高效的散布式数据流处置，，，，，，，DORA 提供了更适合的解决规划，，，，，，，因而我们选择 DORA 作为 z6首页PEED 的中央件骨干。。。。。

具身智能数据网络端点

具身智能数据网络端点有一个总体设计指标：若何在数据涌入率比网络带宽高一个甚至两个数量级的情况下高效地网络具身智能数据。。。。。为实现这一指标，，，，，，，我们开发了动态数据网络、数据选择和数据压缩机造。。。。。

具身智能数据网络必须解决三个关键方面：数据延长、数据传输带宽和数据质量。。。。。数据延长可能导致分歧模态数据之间的功夫对齐误差，，，，，，，从而影响整体数据质量。。。。。不及的数据传输带宽可能加剧延长问题，，，，，，，甚至导致数据网络失败。。。。。我们丈量了我们在亚洲和美国的办公室中的网络上传带宽，，，，，，，测得的网络带宽领域从 8MB/s 到 80MB/s，，，，，，，因而在大无数情况下，，，，，，，具身智能数据涌入量远远超过可用的网络带宽，，，，，，，若是治理不当，，，，，，，将导致数据网络失败。。。。。

因而，，，，，，，具身智能数据网络端点设计中的关键问题是若何凭据当前的带宽前提动态调整数据网络战术。。。。。为实现这一指标，，，，，，，我们在具身智能数据网络端点内设计了数据网络器、带宽适配器、关键帧选择器和数据压缩器，，，，，，，以在面对这些衡量时实现最佳点。。。。。

• 数据网络器

数据网络器的设计指标是尽可能齐全地网络原始数据，，，，，，，并凭据数据采样率进行数据分类。。。。。数据网络器将数据分类为低采样率（LSR）数据（0.01-10Hz）、中等采样率（MSR）数据（10-100Hz）和高采样率（HSR）数据（100+Hz），，，，，，，凭据数据的原始频率进行后续数据处置战术。。。。。

• 带宽适配器

带宽适配器的工作是持续监控当前的数据传输带宽，，，，，，，并动态调整关键帧选择器和数据压缩器的战术，，，，，，，以在当前前提下实现最佳的数据网络质量。。。。。

• 关键帧选择器

关键帧选择器的工作是凭据进建指标选择关键帧，，，，，，，并按比例删除冗余数据帧。。。。。冗余数据帧的删除不成预防线会导致数据质量降落和功夫对齐误差增长，，，，，，，因而其删除比率必要凭据带宽适配器进行节造。。。。。

• 数据压缩器

数据压缩器的工作是凭据数据传输带宽压缩数据。。。。。数据压缩可所以无损的或有损的，，，，，，，有损压缩不成预防线会导致数据质量降落，，，，，，，因而其压缩战术必要凭据带宽适配器进行节造。。。。。

仿真服务

具身智能系统的训练，，，，，，，无论是节造战术还是基础模型，，，，，，，依赖于大量真实世界和合成数据的网络和天生。。。。。z6首页PEED 提供作为服务的仿真，，，，，，，以推进数据天生过程。。。。。在本节中，，，，，，，我们使用机械人臂节造战术的训练来演示 z6首页PEED 的仿真作为服务，，，，，，，经过现实世界仿照数据网络、现实到仿真（Real2Sim）和仿真到现实（Sim2Real）步骤。。。。。

图 4  仿真服务

• 仿照数据网络

机械人臂节造战术训练通常从仿照进建的初始战术起头。。。。。这种步骤涉及专家演示和从演示中进建。。。。。z6首页PEED 端点首先纪录人类专家的真实世界演示的进展行为。。。。。而后，，，，，，，仿照进建算法会亏损网络到的数据，，，，，，，并不休改进初始战术。。。。。更沉要的是，，，，，，，网络到的仿照数据被用作仿真的种子，，，，，，，用于大规模数据天生。。。。。

• Real2Sim

Real2Sim 是指将真实世界的仿照数据（种子）放入仿真环境中进行加强。。。。。仿照数据提供了一个优良的起点，，，，，，，但在处置看不见的情况或从纪录状态的意表偏离中复原时，，，，，，，纯正从真实数据中学到的战术会遇到难题。。。。。

• Sim2Real

通过 Real2Sim 进行数据加强是远远不够的，，，，，，，重要原因有两个：1）不齐全的物理建模：只管模拟器很复杂，，，，，，，但它们无法美满捉拿真实世界物理的每一个轻微差距；；；；；；2）参数不正确：仿真中使用的参数不能齐全匹配真实世界的使用情况。。。。。这个问题能够通过 Sim2Real 来解决，，，，，，，即在仿真环境中训练战术，，，，，，，并将其转移到真实世界的部署中。。。。。

数据对齐服务

数据对齐是将数据对齐到一个公共参考框架的过程。。。。。数据对齐将分歧的数据集转换为一个坐标系统。。。。。通过对齐来自分歧视角或传感器的图像，，，，，，，机械人能够创建对其环境的一致理解，，，，，，，从而加强其做出决策和与世界互动的能力。。。。。

基于特点的步骤用于图像对齐，，，，，，，侧沉于检测和匹配图像中的分歧点、线或区域。。。。。这些特点用于推算所需的转换进行对齐。。。。。此步骤的常见算法蕴含 SIFT、SURF、ORB。。。。。

基于深度进建的步骤利用神经网络进建图像对齐的暗示和转换。。。。。这些步骤通常涉及在大型数据集上进行训练，，，，，，，以有效地泛化到新图像。。。。。此类别中的关键架构蕴含空间变换网络（STNs）和 VoxelMorph。。。。。只管基于深度进建的步骤提供了更高的正确性和鲁棒性，，，，，，，但它们必要大量的推算资源和更大的训练数据集。。。。。因而，，，，，，，默认情况下 z6首页PEED 使用基于深度进建的步骤进行对齐，，，，，，，我们已经实现了每张图像 30 毫秒的对齐延长。。。。。

z6首页PEED 将数据注册步骤实现为系统中的 DORA 节点，，，，，，，并且节点是可配置的，，，，，，，用户能够选择基于特点的步骤或基于深度进建的步骤。。。。。此服务是数据流图中的最后一个节点，，，，，，，当有足够的数据时，，，，，，，该服务会触发数据对齐，，，，，，，而后对齐的数据将存储在数据库中，，，，，，，以满足将来的模型训练需要。。。。。

结论

具身智能是自主经济的智能支柱，，，，，，，但目前面对着显著的数据瓶颈，，，，，，，由于开发具身智能系统必要大量高质量的数据集。。。。。从机械人及其环境中捕获多样化的真实世界数据既拥有挑战性又成本高昂。。。。。z6首页PEED 旨在解决这个确切的问题，，，，，，，并提供了几个关键贡献：

这是首个设计用于克服数据网络阻碍并加强数据共享的实时中央件；；；；；；

引入了通用的具身智能数据体式和轻量级端点，，，，，，，用于捉拿、过滤和流传输具身智能数据；；；；；；

支持作为服务的仿真，，，，，，，利用真实世界的数据天生合成数据，，，，，，，大大降低了成本并提高了出产力；；；；；；

提供了数据对齐服务，，，，，，，以确保来自各类传感器的数据正确且同步，，，，，，，提供了对机械人环境和作为的统一理解。。。。。

目前，，，，，，，z6首页PEED 已成为我们具身智能开发环境的沉要组成部门，，，，，，，从如 Mobile ALOHA 等仿照进建设备以及各类自主机械（如类人机械人）中网络数据。。。。。接下来，，，，，，，我们打算扩大 z6首页PEED 以支持人体作为捉拿设备，，，，，，，训练类人机械人执行复杂的人类作为。。。。。

作者 | 夏轩、俞波、刘少山
责编 | 唐幼引
出品丨AI 科技大本营

本文经授权转载自微信公家号「AI科技大本营」（ID：rgznai100）