Кадры – в полотна
Нейронная сеть – система искусственного интеллекта, которая обладает способностью распознавать даже серьезно искаженные сигналы, причем качество распознавания повышается в процессе обучения. Для раскрашивания видео использовалась «глубокая» нейронная сеть с несколькими слоями абстракции и обработки информации.
Алексей Досовицкий из университета Фрайбурга (Германия), один из создателей программы, рассказал, что первый слой нейросети используется для анализа картин художника. Он извлекает из полотен информацию об используемых красках, мазках, стиле.
Второй слой анализирует кадры фильма. Он распознает объекты и фактически превращает их в эскизы будущих картин.
Ожившие картины
По словам разработчиков, качество результата («раскраски» фильма нейросетью) определяется уровнем обучения каждого из слоев и корелляцией между ними. Раньше специалисты использовали подобную технологию для обработки отдельных изображений, в случае же с видео сложность заключалась в том, что нейросеть для соседних кадров выдавала слишком различающиеся картинки, так что объединить их в «гладкое» видео не получалось.
Ученые переработали алгоритм таким образом, что нейросеть стала распознавать уже присутствовавшие на кадрах объекты. Также она запоминала предметы, ранее появлявшиеся на экране, и использовала для обработки следующих кадров тот же стиль.
В итоге кадры удалось объединить в красивое видео, параллельно существенно снизив вычислительную сложность алгоритма. Так, если первоначально для обработки одного кадра на ПК с мощной видеокартой серии GeForce Titan X требовалось 10 минут, то впоследствии время сократили до 3 минут.
Ученые отмечают, что на домашних ПК видео будет обрабатываться слишком долго. Однако использование систем облачных вычислений сможет позволить смотреть «перекрашенные» видео в режиме реального времени.
