Команда робототехников и специалистов по искусственному интеллекту из DeepMind компании Google продемонстрировала робота, способного проводить экскурсии по ее офисам, сообщает TechXplore. Ученые интегрировали робота RT-2 с Gemini 1.5 Pro. Это позволило ему выполнять сложные действия.
Этот робот может слушать человека, которого он сопровождает, анализировать его запросы и преобразовывать их в действия. Например, один исследователь попросил робота отвести его в место в офисе, где можно писать или рисовать. Робот обдумал просьбу примерно 30 секунд, а затем сопроводил человека к белой доске, прикрепленной к стене.
Робот выполняет подобные задачи благодаря Gemini 1.5 Pro. Модель была обучена понимать планировку офисного пространства площадью 850 кв.м. Благодаря наличию длинного окна контекста приложение анализировало видеозаписи офиса, собирая данные и строя карту помещений. Таким образом, робот может интерпретировать запросы пользователей и направлять их в нужные места.
Исследователи описывают такой опыт обучения как «многомодальную навигацию с инструкциями и демонстрационными турами». Во время просмотра видео робот мог одновременно обрабатывать разные элементы обстановки офиса, устанавливая связи между ними.
Благодаря функциям обработки голоса и текста, а также других возможностей искусственного интеллекта, команда DeepMind наделила робота способностью к умозаключениям. Например, один из исследователей спросил робота, остался ли в холодильнике его любимый напиток. Робот заметил несколько пустых банок Coca-Cola возле рабочего места ученого и сделал вывод, что именно это его фаворит. Затем робот подъехал к холодильнику, заглянул внутрь и проверил наличие банок колы. После этого он вернулся и сообщил о своих находках.
Между тем, в Китае шестиногие роботы заменят собак-поводырей. Команда инженеров уже проводит полевые испытания робособаки, а компания Suochen Robot Co работает над запуском устройства на рынок
