Компьютер научили создавать комиксы из фильмов. Как это выглядит

Система работает автоматически и заметно сокращает время, которое обычно люди тратят на создание комиксов вручную.

Комиксы создаются на основе скринов, которые система, разработанная исследователями, самостоятельно извлекает из сериалов, фильмов, анимации или других видео. Человеку нет нужды вмешиваться в процесс создания рисунков.

После извлечения ключевых кадров из видео и преобразования их в изображения в стиле комиксов система использует структуру многостраничного макета. Она распределяет скрины по нескольким страницам и создает визуально привлекательный ряд картинок, отражающий взаимосвязь между изображениями.

Процесс создания комикса разбит на этапы. Фото: Yang et al.
Процесс создания комикса разбит на этапы. Фото: Yang et al.

Чтобы не пропустить важные детали, программа анализирует эмоции действующих лиц на видео, а также считывает звуковую дорожку и субтитры, если они есть. При этом выноски — так называемые облака с текстом, которые используют для иллюстрации речи или мыслей персонажа комикса — меняют свою форму в зависимости от размера слов и эмоций героев.

Исследователи оценили работу систему в серии экспериментов. Они использовали ее для создания комиксов на основе 16 небольших фрагментов из четырех известных фильмов и сериалов: «Титаник», «Послание», «Друзья» и «Мне бы в небо». Эти видеоролики длились от двух до шести минут. Получилось неплохо, хотя качество изображения оставляет желать лучшего:

Фото: Yang et al.
Фото: Yang et al.

Если вам нравятся необычные изображения, то посмотрите на причудливый мир с роботами. Рисунки создал художник Алехандро Бурдисио, его работы удивляют даже гиков:

https://hi-tech.imgsmail.ru/pic_original/ca6b31082407df4d921a4b144162e8f2/1914235/
https://hi-tech.imgsmail.ru/pic_original/ddaa8245427413173767d68b5ccb0d5b/1914234/
https://hi-tech.imgsmail.ru/pic_original/42aecce256b67a845a0f6b2b624a330e/1914233/
https://hi-tech.imgsmail.ru/pic_original/286789ad8503b7ddeed4fba6f72471d5/1914232/
33фотографии
Фото: Alejandro Burdisio / Artstation

Это тоже интересно: