Mail.RuПочтаМой МирОдноклассникиИгрыЗнакомстваНовостиПоискВсе проекты
15 мая 2016, Источник: arxiv.org

Создана программа, которая делает из кино картины великих художников

Нейронную сеть научили «перекрашивать» видео в стиле полотен великих художников — Ван Гога, Дали, Пикассо и др. Технология создания «живых картин» опубликована на сайте arxiv.org.

Кадры – в полотна

Нейронная сеть – система искусственного интеллекта, которая обладает способностью распознавать даже серьезно искаженные сигналы, причем качество распознавания повышается в процессе обучения. Для раскрашивания видео использовалась «глубокая» нейронная сеть с несколькими слоями абстракции и обработки информации.

Алексей Досовицкий из университета Фрайбурга (Германия), один из создателей программы, рассказал, что первый слой нейросети используется для анализа картин художника. Он извлекает из полотен информацию об используемых красках, мазках, стиле.

Второй слой анализирует кадры фильма. Он распознает объекты и фактически превращает их в эскизы будущих картин.

Ожившие картины

По словам разработчиков, качество результата («раскраски» фильма нейросетью) определяется уровнем обучения каждого из слоев и корелляцией между ними. Раньше специалисты использовали подобную технологию для обработки отдельных изображений, в случае же с видео сложность заключалась в том, что нейросеть для соседних кадров выдавала слишком различающиеся картинки, так что объединить их в «гладкое» видео не получалось.

Ученые переработали алгоритм таким образом, что нейросеть стала распознавать уже присутствовавшие на кадрах объекты. Также она запоминала предметы, ранее появлявшиеся на экране, и использовала для обработки следующих кадров тот же стиль.

В итоге кадры удалось объединить в красивое видео, параллельно существенно снизив вычислительную сложность алгоритма. Так, если первоначально для обработки одного кадра на ПК с мощной видеокартой серии GeForce Titan X требовалось 10 минут, то впоследствии время сократили до 3 минут.

Ученые отмечают, что на домашних ПК видео будет обрабатываться слишком долго. Однако использование систем облачных вычислений сможет позволить смотреть «перекрашенные» видео в режиме реального времени.

Пока ни одного комментария, будьте первым!
Чтобы оставить комментарий, вам нужно авторизоваться.
Обнаружили ошибку? Выделите ее и нажмите Ctrl+Enter.
Hi-Tech Mail.Ru
Apple iPhone 6S 32GB
от35 640руб.
Samsung Galaxy A5 (2016)
от17 700руб.
Apple iPhone 7 32GB
от43 400руб.
Apple iPhone SE 64GB
от30 700руб.
Meizu M3 Note 16GB
от9 490руб.
Xiaomi Redmi 3S Pro 32GB
от9 131руб.
Samsung Galaxy A3 (2016)
от14 000руб.
Samsung Galaxy J2 Prime
от7 986руб.
Samsung Galaxy S7 32GB
от32 500руб.
Подпишитесь на нас
Новости Hi-Tech Mail.Ru