Комиксы создаются на основе скринов, которые система, разработанная исследователями, самостоятельно извлекает из сериалов, фильмов, анимации или других видео. Человеку нет нужды вмешиваться в процесс создания рисунков.
После извлечения ключевых кадров из видео и преобразования их в изображения в стиле комиксов система использует структуру многостраничного макета. Она распределяет скрины по нескольким страницам и создает визуально привлекательный ряд картинок, отражающий взаимосвязь между изображениями.
Чтобы не пропустить важные детали, программа анализирует эмоции действующих лиц на видео, а также считывает звуковую дорожку и субтитры, если они есть. При этом выноски — так называемые облака с текстом, которые используют для иллюстрации речи или мыслей персонажа комикса — меняют свою форму в зависимости от размера слов и эмоций героев.
Исследователи оценили работу систему в серии экспериментов. Они использовали ее для создания комиксов на основе 16 небольших фрагментов из четырех известных фильмов и сериалов: «Титаник», «Послание», «Друзья» и «Мне бы в небо». Эти видеоролики длились от двух до шести минут. Получилось неплохо, хотя качество изображения оставляет желать лучшего:
Если вам нравятся необычные изображения, то посмотрите на причудливый мир с роботами. Рисунки создал художник Алехандро Бурдисио, его работы удивляют даже гиков:
Это тоже интересно: