Компания X Square Robot открыла проект XRZero-G0 — аппаратно-программный фреймворк для сбора обучающих демонстраций, генерации политик управления и проверки их на реальных роботах. Проект ориентирован на одну из главных проблем embodied AI: дорогой и медленный сбор качественных данных с помощью физических роботов. Вместо постоянной телеметрии с реального оборудования XRZero-G0 использует демонстрации, записанные человеком через VR-интерфейс и набор камер, после чего эти данные применяются для обучения роботов.В техническом отчёте XRZero-G0 авторы описывают систему как совместно спроектированную аппаратно-программную платформу для «robot-free» сбора данных и обучения политик управления. По их данным, сочетание большого массива человеко-записанных демонстраций с небольшим объёмом данных от реального робота позволяет получить качество, сопоставимое с датасетами, собранными только на физических роботах. В экспериментах упоминается соотношение около 10 человеко-записанных эпизодов на 1 эпизод реального робота, что снижает стоимость сбора данных примерно в 20 раз.По описанию Help Net Security, вместе с XRZero-G0 опубликован G0-Dataset — мультимодальный набор данных, собранный с помощью этого фреймворка. Он включает более 2000 часов проверенных демонстраций, охватывает зрительные, тактильные и аудиомодальности, а также содержит около 3000 различных задач манипуляции — от базовых действий до более тонких семантических сценариев. Часть набора данных доступна на Hugging Face как XRZero-G0-3K.Система интересна тем, что пытается сделать сбор робототехнических данных похожим не на ручное управление конкретной дорогой машиной, а на масштабируемый производственный процесс: оператор записывает действия в удобной среде, данные проходят контроль качества, затем используются для обучения политики, а результат проверяется на физическом роботе. Такой подход может быть полезен для исследований в области универсальных роботов, dexterous manipulation и переноса навыков между разными робототехническими платформами.Возможности XRZero-G0( читать дальше... ) xrzero-g0, x square robot, роботы