Для того, чтобы стереть пешехода или любой другой объект с записи, его достаточно просто обвести прямоугольником. Всю остальную работу алгоритм сделает сам.
В итоге программа уберет человека, переходящего улицу, несмотря на разнородное окружение. Однако останутся небольшие шероховатости, вызванные тряской камеры.
В некоторых случаях в кадре могут остаться следы движения на месте стертого объекта.
Как объясняет разработчик Get_mask, он опирался на две модели для обучения своего алгоритма: SiamMask и Deep Video Inpaiting. Первый помог ему научить программу отслеживать движение, а второй — скрывать его из кадра.
Похожая функция присутствует в программе Adobe After Effects, используемой для работы с визуальными эффектами на видео:
Однако опубликованную на GitHub программу не потребуется оплачивать. Кроме того, пользователи, обладающие навыками работы с нейросетями, могут улучшить программу zllrunning и научить ее обрабатывать видео без явных недостатков.
Читайте также: Создано первое в мире «умное» стекло
