Среди нейронок появилась улетная новинка от Google. Техногигант представил мультизадачную нейросеть для работы с картинками и видео Lumiere.
Новинка умеет создавать ролики по любому текстовому запросы, но это не все. На самом деле возможности Lumiere куда обширнее, чем простая генерация кадров. Она может делать анимации из статичных изображений. Причем речь идет не только о всей картинке, но и об отдельных деталях на ней. Выделяете область — она «оживает». Можно играть со стилями, эффектами и другими параметрами фото.
Что важно знать: пока что Lumiere — это лишь проект, его разработка продолжается. Воспользоваться нейронкой нельзя, но посмотреть на ее способности можно:
Исследовательская группа Google утверждает, что «пространственно-временная архитектура U-net», которая используется в Lumiere, строит все видео сразу, за один проход, в отличие от предыдущих моделей, которые часто генерировали начальный и конечный кадры, а затем пытались «угадать», что произойдет между ними.
Видеоролики, созданные с помощью Lumiere, реалистичные, но очень короткие. Их продолжительность не превышает 5 секунд. Возможно, в будущем временной лимит повысят.
Ранее в сети завирусилась нейросеть для создания котолюдей. Сгенерируйте забавную картинку с котом или кошкой за четыре простых шага. Это просто и бесплатно. Инструкцию оставили здесь.