Для применения в реальной жизни роботы должны выполнять различные повседневные задачи, начиная от домашних дел и заканчивая промышленными процессами. Им часто придется взаимодействовать с тканями, что особенно проблематично. Обычно робот учится этому, наблюдая за действиями человека.
Но для такого обучения требуется огромное количество данных, демонстрирующих действия людей. Сбор таких данных может быть дорогим и трудоемким. Существующие открытые наборы часто уступают по объему тем, что используются для обучения других методов искусственного интеллекта, например, компьютерного зрения или генеративных моделей.
Исследователи из Сингапура и Китая предложили альтернативный подход, который может улучшить и упростить обучение роботов. Их идея заключается в том, чтобы использовать множество видеороликов, ежедневно публикуемых в сети, в качестве демонстраций повседневных задач. Об этом сообщает TechXplore.
Вместо того, чтобы использовать видеоролики, специально снятые для обучения роботов (как это делалось ранее), новый подход использует произвольные видеоролики, доступные в интернете.
Подход команды ученых опирается на три ключевых компонента: Real2Sim, Learn@Sim и Sim2Real. Первый из них, Real2Sim, является центральной и наиболее важной частью всей системы.
Real2Sim отслеживает движение объекта в демонстрационном видео и воспроизводит то же самое движение на виртуальной модели объекта в симуляции. Иными словами, действия реального человека повторяются в симуляции.
Подход исследователей использует сетки — точные цифровые представления геометрии, формы и динамики объекта. Real2Sim воспроизводит демонстрацию человека в симулированной среде, а затем второй компонент Learn@Sim изучает точки захвата и точки размещения, которые позволят роботу выполнить те же действия с помощью обучения с подкреплением.
После того, как робот в симуляции научился определять точки захвата и размещения объекта, начинается третий этап — Sim2Real, где полученная стратегия применяется на реальном роботе с двумя манипуляторами.
В предыдущих работах требовались обучающие видео, снятые в той же обстановке, где роботу предстоит выполнять задачу. Новый метод позволяет обучаться по любым видеороликам, поскольку из них извлекается 3D-модель движения объекта.
Ученые протестировали метод на задаче завязывания галстука. Эта задача считается крайне сложной для роботов, однако предложенный метод позволил роботизированному манипулятору успешно ее выполнить. В будущем новый подход, может быть применен к другим сложным задачам.
Ранее Илон Маск рассказал, когда запустят массовое производство роботов Tesla.