Allen Institute for AI (AI2) выпустил две открытые роботизированные системы — MolmoBot и MolmoSpaces, — обученные исключительно в виртуальных средах и способные работать на реальных роботах без дополнительной настройки. Этот подход называется «zero-shot sim-to-real transfer» и может радикально ускорить развитие робототехники.
MolmoSpaces — это массивный обучающий датасет, содержащий более 230 000 виртуальных помещений, 130 000 объектов и 42 миллиона аннотаций физического взаимодействия робота с предметами. MolmoBot, обученный на этих данных, способен брать и перемещать объекты, открывать ящики и двери — и всё это без единого примера из реального мира.
По словам Ранжая Кришны, директора команды PRIOR в AI2, разрыв между симуляцией и реальностью сокращается, когда исследователи радикально увеличивают разнообразие виртуальных сред, объектов и условий камеры. Традиционный подход требовал месяцы телеуправляемых демонстраций в реальном мире для достижения надёжности.
Модели опубликованы в открытом доступе, что позволяет любой робототехнической лаборатории или компании использовать их для своих проектов. Это важный шаг к демократизации робототехники: вместо дорогостоящего сбора данных в реальном мире разработчики могут обучать роботов в симуляции и сразу переносить навыки на физические устройства.
