智元机器人宣布推出并开源基于仿真功能的模型评测和验证工具Genie Sim Benchmark，专注为具身AI模型提供精准的性能测试和优化支持。
“作为Genie Sim(智元仿真平台)的开源评测版本，Genie Sim Benchmark是智元继开源百万真机数据集和海量仿真数据集后，又一里程碑式的开源项目。”
根据介绍，Genie Sim能够精准还原机器人的操作环境，为多样化任务提供标准化的自动评测体系，衡量模型在各种场景下的表现，加速算法迭代流程，同时减少模型评测对昂贵物理硬件的依赖，显著降低测试成本。
Genie Sim构建了大规模的高精度具身智能三维资产库，形成了涵盖丰富物体、场景及机器人模型的完整仿真体系。所有资产均采用人工精细建模、三维重建与生成式AI（AIGC）等技术打造，在确保高度真实性的同时兼顾种类多样性和资产生成效率，全面满足机器人复杂操作任务的仿真评测需求。
还提供了基于场景重建的高保真、高精度的仿真评测环境，涵盖多种场景和物体，高度还原真实世界。Genie Sim的仿真评测环境能够模拟真实世界中影响算法性能的条件和变量，为模型评测提供高度真实的测试基准。
智元方面表示，经对比验证，GO-1模型仿真测试结果与真机结果误差小于5%。这一仿真精度的突破源于对真机测试环境和交互物体在仿真环境中进行完全1:1的还原，以及底盘、关节和末端控制动力学与真机的精准校准。算法开发者可以高度信赖模型在仿真中的评测结果，大幅减少真机测试次数，使算法迭代效率提升5倍以上，测试成本减少95%，助力研发团队专注核心算法优化。