НовостиОбзорыВсе о нейросетяхБытовая техника 2024ГаджетыТехнологииНаукаСоцсетиЛайфхакиFunПромокодыСтранные вопросыЭксперты

Artisto: как нейросети делают из видео шедевры

1 августа 2016
Artisto — первое в мире приложение, которое обрабатывает с помощью нейронных сетей не фотографии, а видео. Разбираемся, как оно устроено и где его можно скачать.

7 фактов об Artisto

  • Что такое Artisto? Это мобильное приложение, которое обрабатывает видео в разных художественных стилях.
  • Как Artisto обрабатывает видео? С помощью нейросетей и технологий глубокого машинного обучения.
  • Сколько стилей доступно в приложении? Пока 14. Скоро будет больше :)
  • Какие видео можно обрабатывать? Любые ролики длиной до 10 секунд со звуком и без. Их можно снимать прямо в приложении на основную или фронтальную камеру, а можно выбрать для обработки фрагмент из ранее созданного видео.
  • Что происходит с видео дальше? Роликами можно делиться в социальных сетях или сохранять в облачных сервисах.
  • Для кого доступно приложение? Для пользователей смартфонов и планшетов на iOS и Android. Cкачать Artisto можно бесплатно в App Store и Google Play во всех странах мира.
  • Почему стоит скачать Artisto прямо сейчас? Потому что в нем создаются шедевры. Тысячи фанатов не могут ошибаться!

Современное искусство на смартфоне

Смартфоны обычно используются для фиксации сиюминутных событий и эмоций, поэтому к созданию таких видео не готовятся так, как к профессиональной съемке. Результат может расстроить: хочется картинку «как в кино», а получается... как всегда.

Повысить разрешение и улучшить другие параметры видео нельзя, и ученые нашли другой подход к решению проблемы. Artisto «перерисовывает» видео: сюжет остается без изменений, персонажи – тоже, но атмосфера меняется полностью.

Получается своеобразный мультфильм – с новыми эмоциями, настроением, стилизацией. Вручную на подобное ушли бы месяцы работы, а приложение тратит на обработку всего несколько секунд.

По первым откликам видно, что наш эксперимент оказался очень успешным: обработанные Artisto видео уже выложили на своих страницах в соцсетях селебрити и крупные бренды. Самые популярные фильтры на данный момент – BlueDream на основе картины Пабло Пикассо и In the Fire (эффект огня).
Анна Артамонова Вице-президент Mail.Ru Group, руководитель бизнес-подразделения «Почта и портал»

​​Все мы видели в социальных сетях тысячи фото, обработанных в Prisma. Это шедевры современного искусства, созданные на стыке творчества и искусственного интеллекта. Artisto делает ещё больше: сохраняет динамику, дает не набор разрозненных кадров, а красивое гладкое видео, от просмотра которого остается фантастическое впечатление.

Практический момент: вы можете быть не накрашены, в объектив могут попасть лишние вещи или надписи, которые не хотелось бы показывать. Artisto всё это скрывает, превращая «мусор в кадре» в органичные элементы композиции и делая людей красивее.​​

При чем здесь нейросети

Нейросеть – это обучаемая система, которая является базой искусственного интеллекта. Искусственные нейронные сети разработали на основе сетей человеческого мозга: нейроны стали узлами, связи между ними определили заданные алгоритмы и формулы, а дальше сеть стала учиться, с каждым циклом приобретая новый опыт и используя его в дальнейшем. Преимущество нейросети – в том, что она позволяет решать достаточно объемные вычислительные задачи, тратя на это минимум времени, и за счет обучения делать это всё лучше и лучше.

Технологии доказали, что алгоритмы глубинного обучения способны в чем-то и превосходить человека - генерировать удачные варианты там, где важен человеческий опыт и интуиция. Artisto - доказательство того, как нейросети и технологии можно использовать в художественном творчестве. Теперь каждый сможет придать своему фото или видео яркий и узнаваемый стиль. Эта мода будет способствовать тому, что с помощью нейросетей и приложений увеличится и число полезных задач, которые можно будет решить.
Леонид Делицын Доктор технических наук, эксперт по IT, доцент, кафедры новых медиа и теории коммуникации факультета журналистики МГУ им. Ломоносова

Одно из основных применений нейросетей сегодня – распознавание образов. В Artisto и других программах для обработки изображений на картинке выделяются определенные объекты: здания, лица, предметы и пр., а также их части. Здесь используется глубинное обучение: нейросеть моделирует высокоуровневые абстракции, используя архитектуры, состоящие из множества нелинейных трансформаций, в общем, не просто узнает круги и линии, но может ответить на вопросы: является ли эта часть изображения лицом, из чего она состоит и т.п.

После этого к изображению применяется алгоритм, имитирующий манеру работы художника или какой-то графический стиль (а их в Artisto уже 14 и будет ещё больше). Фактически алгоритм – это большой набор данных, которые нейросеть использовала для обучения. Она «поняла», как творил художник, освоила его стиль и теперь может применять его для обработки любых изображений.

Проще простого

Интерфейс Artisto очень лаконичный – ничего лишнего! Самая большая кнопка в нижней панели – съемка видео. Вы можете выбрать камеру (фронтальная или основная), включить вспышку, если она есть.

После съемки видео приложение предложит 14 фильтров на выбор. Выберите один из них, и ваш ролик будет автоматически загружен на сервер приложения и обработан. Всё конфиденциально: оригинальный и обработанный ролики удаляются, так что доступ к ним никто не получит. Результатом вы можете поделиться в социальных сетях или сохранить в доступных облачных сервисах.

Чем обработка с помощью нейросетей отличается от фильтров на смартфоне?

Там нет никакого искусственного интеллекта. Изображение просто подкрашивают нужными цветами, изменяют настройки яркости и контрастности, могут сделать темное темнее, а светлое светлее. Технически каждая точка изображения – это набор чисел. Когда применяется фильтр, для каждого числа по формуле вычисляются новые значения этого набора, при этом какие значения у соседней точки, роли не играет.

При нейросетевой обработке изображение рассматривается как единое целое, и обрабатываются не точки, а объекты. Поэтому стилизация более глубокая, а результат гораздо интереснее.

В обработке видео есть ещё такая сложность: движения должны передаваться гладко. Artisto использует предыдущий кадр для обработки следующего. Кстати, за счет этого обработка занимает гораздо меньше времени.

Почему то же самое нельзя сделать на своем компьютере

Обработка каждого изображения – это серьезные вычисления, которые требуют огромной мощности. Даже самый крутой смартфон обрабатывал бы видео часами. Artisto использует облачную инфраструктуру Mail.Ru – сеть мощных компьютеров, адаптированных для решения именно таких задач. Вы отправляете видео в приложение и скачиваете готовый результат – поэтому всё происходит так быстро.

Сложно поверить, но Artisto разработала команда специалистов по глубокому машинному обучению в Mail.Ru всего за несколько недель. Скачивайте приложение бесплатно в App Store и Google Play, делитесь видео в социальных сетях с хэштэгом #artisto, экспериментируйте и вдохновляйтесь!

Расскажите друзьям об Artisto – научите из создавать шедевры из обычных видео! Для этого нажмите на одну из кнопок ниже ↓↓↓