Компания Google анонсировала новую модель искусственного интеллекта Magenta RealTime, способную генерировать музыкальные композиции на лету. В отличие от традиционных ИИ-инструментов, которые создают трек целиком, эта нейросеть работает с короткими фрагментами (до 2 секунд), что позволяет мгновенно корректировать звучание.
Magenta RT представляет собой 800-миллионную нейросеть, обученную на обширной библиотеке инструментальной музыки объемом 190 тысяч часов. Технология анализирует последние 10 секунд звучания и мгновенно реагирует на команды пользователя, позволяя менять жанр, набор инструментов или темп исполнения без остановки генерации. Качество выходного аудиосигнала достигает профессионального уровня — 48 кГц в стереоформате.
Разработчики сделали модель максимально доступной: исходный код опубликован на GitHub, а весовые коэффициенты можно загрузить с Google Cloud Storage. Для быстрого знакомства с технологией подготовлено демо-приложение, которое работает даже на бесплатных вычислительных ресурсах TPU.
Создатели модели проводят параллель между Magenta RT и живым музыкальным исполнением. Система открывает возможности для импровизации, сравнимой с джазовой сессией или диджей-сетом. Технология найдет применение в создании саундтреков для игр, интерактивных арт-инсталляций и экспериментальных музыкальных проектов, где важна мгновенная реакция на изменения.
Несмотря на впечатляющие возможности, система имеет ряд ограничений. Модель работает исключительно с инструментальной музыкой и лучше всего справляется с западными музыкальными жанрами из-за особенностей обучающей выборки. Также присутствует небольшая задержка реакции — около 1,25 секунды при смене стилевых параметров.
В ближайших планах разработчиков — реализация функции тонкой настройки под индивидуальные предпочтения пользователей, оптимизация для работы на менее мощных устройствах и создание новых версий системы с уменьшенной задержкой реакции.
Наша цель — не заменить музыкантов, а предоставить им принципиально новые инструменты для творчества, — отмечают представители команды Magenta.
Для тех, кто хочет испытать технологию на практике, доступно демо-приложение в Google Colab, а полная версия модели доступна для загрузки на платформе Hugging Face.
Читайте также нашу статью о том, как ученые нашли суперспособность мозга, недоступную для освоения ИИ.
