如影随形

Robotwin系列新任务：打开大规模域的资源随机两位

发布时间：2025-07-09 10:19编辑：bet356在线官方网站浏览（144）

本文撰写的是：Chen Tianxing，Tianxingchen.github.io是2025年香港MMLAB大学的医生学生，在Luo ping教授下学习。在学术会议上，我在一项工作/一份工作中发表了许多论文，并获得了ECCV合作浮雕的智能研讨会最佳论文，CVPR亮点等。他赢得了许多奖项，包括CCF杰出的大学生和20多个国家竞赛奖。成为CVPR 2025 Robotwin两臂协作竞赛的组织者。启动了“刺绣智​​能技术指南”项目，而6k Github星星损坏了。 Lumina是体现智能社区的联合创始人。最近，基于Robotwin Simulation平台在CVPR举行的上海Jiotong University的Scalelaba合作伙伴关系。 Robotwin 2.0开设了大规模随机两-BUD合成器数据和50个操作活动的基准评论。赢得Robotwin Comp摘要的计划和观点在技​​术报告中分享了时间。第一篇论文是香港大学MMLAB@HKU博士生Chen Tianxing，以及与上海Jiaotong大学Scalelab的助理教授Mu Yao和香港大学副教授Luo Ping的助理教授。 Co-first authors include Chen Zanxin, Chen Baijun, Cai Zijian, Liu Yibin, etc. The start of the Robotwin 2.0 video is as follows: Robotwin Series of Work, CVPR 2025 Highlight, ECCV 2024 Maas Workshop best role, and won 1.2k stars in Github as the official question of 19 robotwin Double-Arm cOlllaborative competition @CVPR 2025 MEIS研讨会，Zhangjiang人形机器人机器人创新和企业家竞赛，在Github赢得了1.2k Stars。纸张标题：Robotwin 2.0：可扩展的数据生成器和基准测试器，具有强大的域随机化，用于强的Bimanual机器人操作项目主页：https：//robotwin-platub.io/代码链接：https：/github.com/robotwinplatform/robotwin用户文档：https：//robotwin-platform.github.io/doc/doc/dechnical报告标题：基准标记概括性dual-arm arm arm arm arm arm arm arm armage diual-arm armantulation：robotwin dial-arm arm armecoration for cvin dial-arm armecoration in cv pr in cvpr 2025 meis clink 2025 meissopt link： https://arxiv.org/abs/2506.2351两型机器人在复杂情况下（例如使用工具和对象切换）在诸如组装合作之类的复杂情况下起着重要作用，但是应该培训一般的VLA和其他操作技术，并应培训，并培训数据收集和仿真管道，遇到许多瓶装。一方面，获取实际规模的指导数据很昂贵且每小时，因此很难涵盖足够的任务，对象形状和硬件差异；另一方面，现有的模拟缺乏用于新任务的高效和测量的专家数据生成方法；同时，其域的随机化设计太浅了，无法模仿实际环境中的复杂性。我T还没有考虑到不同双ARM平台的运动学和癫痫发作中行为的变化，这使得数据合成解决方案很难在新环境或新硬件中概括。因此，我们提出了Robotwin 2.0，该2.0提供了基于多模式的大型模型和环中的仿真的自动da SynthesisBasic。我们使用丰富的注释对象（robotwin-oil）打开源Robotwin对象数据集（Robotwin-OD），并开发一个大规模的随机模拟两个AR-ARM操作数据合成器，评估基准集支持5个本体论和50个基于两个的活动。实验结果表明，Robotwin 2.0域随机数据可以大大增强模型在看不见的环境中的稳定性。我们打开源代码，预机发的操作数据以及友好的用户文档。方法1。专业代码的生成专业代码，Robotwin 2.0首先引入了一组API库，这些库比1.0更简单且易于使用，这大大降低了大型多模式模型的阈值以产生代码。然后，在模拟循环中，结合关键帧视觉观察和实时环境反馈，迭代优化是通过多模型的主要模型进行的，并继续提高专家代码效率的准确性和实施。 2.Robotwin-Od (Robotwin Object Dataset) To generate more different simulation operation data, cover more operational skills and interactive objects, we set up robotwin-oil classes (robotwin object dataset), containing 147 classes and 731 instances, of which 534 opportunities have developed us based on Aigc and optimized through the Aigc and optim likes Convex decomposition, and the rest came from aminobjaverse and Sapien Partnet-Mobility。对于每件事，我们都会完善不同操作点，操作以及大会INF的标签对象级别和操作级别上的概念，为对大型模型的支持提供了全面而清晰的语义理解。 Robotwin-OD不仅为设计大型仿真操作任务的设计奠定了基础，而且还为复杂而混乱的场景的布局提供了稳定的支持。 3。由于差异而对身体的自适应抓地力 - 在运动的自由度和结构中，不同的机器人臂在同一任务中具有不同的触及范围和操作偏好。为此，Robotwin 2.0构建了一个操作候选者，该候选者为每个对象设置不同的抓轴和接近方向。具体的方法是结合机器人臂接近的首选方向，态度的随机干扰以及在运动的平行计划中生产那些grabber候选者；并在方向上应用角度干扰，以更高的访问进一步扩大生产态度空间。基于此方法，Robotwin 2.0支持合成和SURGI5种类型类型的CAL数据分析。 4.域随机化使Robotwin 2.0能够在各种复杂且可更改的真实情况下保持良好的操作性能，我们在生成数据过程中引入了系统的域随机化方法。通过多维性的随机化，该模型可以在训练阶段检测完全不同的样本，从而显示出实际扩展中更强的稳定性。以下将解释我们按顺序使用的随机化技术 - 遵循五个主要维度。场景杂物已经是随机添加了独立干扰工作区对象的工作，并且已构建的Robotwin-OD对象库用于碰撞意识。通过避免相同类别或功能之间的对象之间的碰撞和语义数量，避免放置相似的干扰因素，这不仅可以改善差异，还可以减少潜在的政策混乱。 Backgro和纹理形成一个背景库，其中包含12,000个高质量纹理：首先使用大型模型自动生成有关真实表面外观的1,000个信号，然后使用稳定的扩散V2来合成每个即时，手动过滤的20个候选纹理，并保留最晦涩的示例示例桌面桌面和周围的背景。差异的照明是在合理范围内随机化的，即光资源的类型（点光源，源来源），音量，色温，强度和位置，以模仿现实世界中不同的照明条件，并增强了阴影，改进，改善和色彩转移的稳定性。桌面高度（桌面高度）在合理范围内的桌面高度相等的例子，改变了观看摄像头和机器人手臂 - 目标之间的空间关系，从而使工作台的不同高度的方法。差异 - 不同和运动学差异s。语言指令基于多模式大语言模型，并自动生成任务指令模板和对象描述，然后将它们与随机示例对象属性结合起来，以在轨迹级别引入MGA Rich语言更改，以提高一般的隐形指令的通用能力。 5. Robotwin 2.0数据生成器和基准基准，用于基于上述方法的50个任务，我们设置了一个数据生成器和基准基准，该基准支持5个本体论和双臂的50个活动。实验结果1。与Robotwin 1.0相比，性能性能性能性能，10个标准操作没有添加技能。 Robotwin 2.0的平均成功率（ASR）和TOP5-ASR都从47.4％增加到62.1％；在添加结构化实施反馈后，ASR增加到66.7％，与多模式反馈结合使用，它达到了71.3％，迭代次数为从2.46次减少到1.76倍，LLM A代币的消费也大大减少了。 2。自适应抓取的效果很明显。这50个任务数据将自动收集在五个两孔机器人平台上。与Robotwin 1.0合成方案相比，Robotwin 2.0的平均成功率增加了8.3％； DOF的低平台中有更多的收购：六个自由度Aloha-Agilex平台增加了13.7％，Piper平台增加了22.7％，ARX-X5平台增加了5.6％。 3。基于消融试验的域随机化对稳定方法对VLA框架的贡献，预处理的Model RDT和PI0用于修复300个工作的300个数据（9600个数据）的大规模域随机数据（总共9600个数据）的音调，然后进行32个任务，然后免费免费免费。与原始方法相比，大规模域随机数据的原始方法（robotwin 2.0）（r2.0）以及域随机化数据在新任务中的绝对益处（相对增加71.6％）的绝对益处（相对增加71.6％），PI0的绝对益处为8.8％（相对增加41.9％），两者在仅使用干净的数据时都保持强大的技能。 4。现实世界零/mas kaunting样品na paglilipat ng epekto sa控制eksperimento ng apat na uri uri n uri ng mga真实世界双臂na gawain na gawain（碗堆栈，块交换，瓶装，瓶装，点击点击） Na Mga Halimbawa，Ang MGA速率NG Tagumpay NG APAT NA MGA测试调整分别增加了13.5％，27.5％，23.5.5 33.0％；虽然在纯合成中（ZSA在ERO-shot设置下，即使您不依赖真实数据，也可以在看不见的背景情况下取得21.0％和20.5％的良好成功率。Ronmental稳定性和SIM2REAL转移，为随后的大规模和富裕场景的两种无条件操作提供稳定的数据和基准支持。开源，我们已经将50个任务的Robotwin 2.0代码转换为操作的100,000多个多重要性随机操作以及完整的Robotwin-OD大型富裕语义数字资产库以及用户友好的使用文档。 Robotwin CVPR挑战技术报告参加了64个团队，共有400多人。 Tsinghu-Horay团队的实时机器冠军和JD Technology Group的模拟冠军。以及Yosheng Team技术报告的合着者。该报告分享了团队的主要算法，以实现剩余的结果，包括SEM和Anchordp3等，以及有关两个武器操作的挖掘视图，包括数据质量，数据预处理，语言稳定性，多模式融合和模型体系结构。