Впервые робот, обученный исключительно по видеозаписям опытных хирургов, смог выполнить хирургические манипуляции с той же точностью, что и врачи. Новый подход к обучению роботов — имитационное обучение — позволяет избежать программирования каждого отдельного движения и значительно приближает медицину к тому моменту, когда роботы смогут самостоятельно проводить сложные хирургические вмешательства без контроля человека.
«Это действительно волшебный момент: модель получает данные с камеры и предсказывает движения робота, необходимые для операции», — говорит автор исследования, профессор Аксель Кригер. «Мы верим, что это важный шаг на пути к новой эре в медицинской робототехнике».
Результаты, полученные исследователями из Университета Джонса Хопкинса, были представлены на Конференции по обучению роботов в Мюнхене — одном из ведущих событий в мире робототехники и машинного обучения.
Для эксперимента команда исследователей использовала роботизированную систему da Vinci, широко применяемую в хирургии, чтобы обучить ее выполнению базовых хирургических манипуляций. В модели использовалась архитектура машинного обучения, аналогичная той, что лежит в основе ChatGPT. Однако, вместо обработки текстов, эта модель работает с кинематикой, описывая движения робота математическими терминами.
Исследователи загрузили в модель сотни видеозаписей, снятых с камер на «запястьях» роботизированных рук da Vinci. Эти видео, записанные хирургами по всему миру, обычно используются для анализа операций, и сейчас их накоплено огромное количество. В общей сложности в разных странах используются более 7000 роботов da Vinci, на них прошли обучение свыше 50 тысяч хирургов, что создает обширный архив данных для анализа и «подражания».
Хотя система da Vinci широко распространена, она считается неточной. Чтобы преодолеть это ограничение, команда сконцентрировалась на относительных движениях, а не на абсолютных, что позволило добиться высокой точности даже при несовершенстве входных данных.
«Нам требуется только видеопоток, интегрированный в систему ИИ сам находит правильное действие», — поясняет ведущий автор исследования, Джи Вонг Ким. «Мы выяснили, что даже нескольких сотен примеров достаточно, чтобы модель смогла освоить процедуру и адаптироваться к новой обстановке, которую она ранее не видела».
В рамках исследования робот был обучен выполнять три задачи: манипуляции с иглой, подъем тканей и наложение швов. В каждом из этих случаев робот выполнял задачи так же качественно, как и люди.
«Эта модель может самостоятельно обучаться новым вещам, которым ее не учили, — говорит Кригер. — Например, если робот уронит иглу, он ее подберет и продолжит работу. Я не учил его этому специально».
Ученые считают, что такая модель может стать основой для быстрого обучения роботов выполнению любого типа операций. В настоящий момент команда разрабатывает модель для обучения робота не только отдельным движениям, но и полноценной операции.
До этого успеха программирование даже простых действий для робота требовало скрупулезной настройки каждого шага. На моделирование одного только процесса наложения шва могло уходить до десятка лет. И это только для какого-то одного конкретного типа операции.
«Новизна нашего подхода заключается в том, что теперь достаточно собрать записи выполнения различных процедур, и робот освоит их за несколько дней. Это позволяет ускорить переход к автономии, снизить вероятность ошибок и повысить точность операций», — отмечает Кригер.
Ранее студенты создали робота, который копирует человека в реальном времени.