Принципы работы нейросетей в области музыки
Сейчас искусственный интеллект (ИИ или Artificial Intelligence — AI) создает контент по аналогии, т. е. на основе образцов. Референсы анализируются по определенному алгоритму (происходит обучение нейросети), а затем полученная информация хранится во внутренней базе данных.
Когда запускается генерация, система находит подходящие образцы в своей базе, преобразует и совмещает их. Качество результата напрямую зависит от количества данных, которые использовались для обучения нейросети. В этом компьютеры не так уж далеки от людей. Став фанатом какой-нибудь группы, человек может вдохновиться на самостоятельные занятия музыкой в похожем стиле. Чем больше композиций он прослушает, тем разнообразнее будет его собственное творчество.
Если рассматривать алгоритм более детально, нейросеть генерирует музыку двумя способами.
1. Создание по нотам
При помощи музыкальной нотации («нотной грамоты») можно записать в печатном виде любую композицию. Специальные символы обозначают конкретные ноты, их длительность, громкость, октаву и прочее.
Компьютеры используются в музыке более 40 лет. Однако изначально были технические проблемы с применением традиционной нотации. К тому же такой способ записи не интуитивно понятный и требует обучения. Поэтому на компьютере используется отображение, похожее на таблицу: строки обозначают ноты и октавы, а столбцы — доли такта. Отдельный раздел отводится под различные эффекты для каждой доли: силы нажатия клавиши (удара по струне), громкости, модуляции, питча и другие.
Такой способ нагляднее, легче оцифровывается и дает больше технических возможностей. Например, на настоящем фортепиано невозможно играть так, чтобы одна нота звучала слева от слушателя, а другая — справа. Секвенсор (программа или устройство для записи и воспроизведения нот) с этой задачей справляется легко.
Построение музыкальных произведений также подчиняется достаточно четким правилам. Если не вдаваться в сложные подробности, они описывают построение композиции и оптимальные сочетания звуков (нот).
В результате у нас есть устоявшиеся правила, по которым можно в символьном виде (или в виде таблицы с цифровыми значениями) записать любое произведение, а также набор приемов для создания новых произведений. С такими вводными было лишь вопросом времени, когда возникнет нейросеть, пишущая музыку.
Специальный AI дополняет секвенсор. Алгоритм генерирует партитуры, которые при необходимости легко редактируются. Также несколькими кликами на них можно назначить подходящие инструменты.
2. Создание сингла
Звук, как физическое явление, представляет собой процесс распространения волн с определенной частотой в различных средах. В жизни это происходит следующим образом. Источник, например, гитарная струна, создает колебания. Они передаются по воздуху и в процессе могут восприниматься органами слуха.
Цифровая аппаратура (в том числе компьютеры) использует информацию, которая хранится и передается в виде последовательности нулей и единиц (0 — отсутствие сигнала, 1 — его наличие). Чтобы представить звук в таком виде, нужны сложные алгоритмы. Результат преобразования можно изобразить в виде графика (осциллограммы).
При помощи модуляции (другого метода), можно создавать новые звуки и преобразовывать существующие так, чтобы они походили на другие сигналы. Этот способ позволяет нейросети «говорить» голосом определенного человека в чатах техподдержки. Также аналогичным образом можно обработать партию пианино так, чтобы вместо него, например, звучала гитара.
Музыкальная композиция сочетает в себе несколько звуковых источников (их количество может составлять десятки или даже сотни). Туда входит вокал, различные инструменты, сэмплы и эффекты, которые добавляются для атмосферы. Поэтому, чтобы использовать ИИ для создания музыки при помощи генерации и модуляции сигнала, требуются большие вычислительные мощности. Сейчас проблема отчасти решена. Существуют сервисы, которые позволяют генерировать треки длительностью до нескольких минут.
Сферы использования
Технология находит разное применение. Благодаря модуляции голоса можно генерировать каверы и пародии.
Существуют цифровые аватары — виртуальные персонажи, которые «регистрируют» аккаунты в соцсетях, ведут онлайн-трансляции и выпускают собственные треки. В этом случае ИИ генерирует изображения, тексты, видео и музыку.
Алгоритм может проанализировать творчество определенного исполнителя и создать новое произведение в похожем стиле.
ИИ помогает музыкантам и звукоинженерам с типичными для их профессии задачами, например, убирает фоновый шум или преобразует песни в треки без слов.
Выбираем сервис под себя
Мы разобрали принципы, по которым работает ИИ. Вот где можно создать музыку с помощью нейросети и решить другие важные задачи.
RIFFUSION
Сайт: riffusion.com
Язык интерфейса: английский
Количество бесплатных генераций: не ограничено
Доступ через VPN: нет
Наличие рекламы: нет
Сервис генерирует короткие музыкальные фрагменты с обложками, вокалом и аккомпанементом. На первом этапе ИИ создает и озвучивает текст по коротким описаниям. Вместо машинного голоса можно записать при помощи микрофона собственный. Далее нужно ввести тезисы, которые характеризуют желаемое звучание. Спустя несколько секунд система сделает трек, который можно скачать или опубликовать в специальном разделе на сайте сервиса. Там же размещаются работы других пользователей.
Плюсы:
- Можно скачать отдельными треками вокал и партии каждого инструмента.
- Генерирует разнообразное звучание.
- Интуитивно понятный интерфейс.
Минусы:
- Продолжительность треков всего 12 секунд.
- Блокирует описания, в которых упоминаются реальные музыканты.
- Произвольно интерпретирует запросы.
Mubert
Сайт: mubert.com
Язык интерфейса: английский
Количество бесплатных генераций: до 25 треков в месяц
Доступ через VPN: нет
Наличие рекламы: есть
Нейросеть которая пишет музыку по описанию. На сайте есть каталог лучших бесплатных треков — их можно использовать в качестве образцов. Сервис позиционируется как инструмент для создания саундтреков и аудиозаставок. Владельцы подписок уровня Pro и выше получают специальный плагин для приложений от Adobe.
Плюсы:
- В качестве референсов можно загружать изображения и добавлять ссылки на видео с YouTube.
- Умеет создавать треки, заставки, лупы и ремиксы.
- Не устанавливает жестких ограничений на длительность.
Минусы:
- Описание разрешается вводить только на английском.
- Генерация может занимать достаточно много времени.
- Не точно придерживается пользовательского запроса.
Soundraw
Сайт: soundraw.io
Язык интерфейса: английский
Количество бесплатных генераций: не ограничено
Доступ через VPN: нет
Наличие рекламы: нет
Сервис генерирует композиции по лупам — коротким музыкальным фразам. Сначала нужно выбрать длительность и жанр (рок, электроника, эмбиент, поп, фанк или другой). Система подготовит несколько вариантов. Любой из них можно немного отредактировать: переназначить сэмплы инструментов, отрегулировать громкость дорожек, заглушить на определенном фрагменте и прочее. Готовый трек можно распространять по ссылке или загрузить на компьютер.
Плюсы:
- Можно пользоваться без регистрации.
- Позволяет переназначать тональность трека.
- Есть простой микшер.
Минусы:
- Скачивание доступно только на платных тарифах.
- Результаты не всегда соответствуют выбранным жанрам.
- Мало доступных сэмплов.
Melobytes
Сайт: melobytes.com
Язык интерфейса: английский
Количество бесплатных генераций: не ограничено
Доступ через VPN: нет
Наличие рекламы: есть
Сайт с набором онлайн-инструментов на базе AI. Несколько из них предназначены для написания музыкальных треков: песен в честь дня рождения, эмбиента, гитарных рифов и более сложных композиций. В расширенном режиме нужно ввести текстовый запрос и выбрать из выпадающих списков подходящие параметры, например, скорость, набор эффектов и тип сигнатуры.
Плюсы:
- Большой выбор инструментов и настроек.
- 9 эффектов — дисторшн, ревербератор, параметрический эквалайзер и другие.
- Может сгенерировать видеоклип
Минусы:
- Неинтуитивный интерфейс.
- Без внимательной настройки выдает какофонию.
Loudly
Сайт: loudly.com
Язык интерфейса: английский
Количество бесплатных генераций: не ограничено
Доступ через VPN: да
Наличие рекламы: нет
Бесплатная нейросеть для написания музыки онлайн. Перед созданием необходимо указать жанр (его можно смешивать с другим), тональность, продолжительность, темп и активировать нужные дорожки с инструментами (их набор немного меняются в зависимости от выбранного стиля). Результат можно размещать онлайн, хранить в личной библиотеке на сайте или скачать.
Плюсы:
- Достаточно обширный список настроек.
- Умеет генерировать сэмплы с голосом.
- 13 жанров — техно, синтвейв, хип-хоп, хаус и другие.
Минусы:
- Возможность скачивания открывается только после подписки.
- Некоторые мелодии воспринимаются как хаотичный набор звуков
AIVA
Сайт: aiva.ai
Язык интерфейса: английский
Количество бесплатных генераций: 3 скачивания в месяц
Доступ через VPN: нет
Наличие рекламы: нет
Нейросеть для сведения и создания музыки по образцу. Предусмотрен многодорожечный секвенсор и набор из 6 эффектов (стаккато, дилей, ревербератор, относительная громкость, фильтры высоких и низких частот). Есть большая библиотека сэмплов для разных стилей: чиптюн, техно, металл, диско и других.
Плюсы:
- За раз может генерировать до 5 вариантов.
- Десятки разнообразных шаблонов.
- Умеет делать автоматический мастеринг.
Минусы:
- Для полнофункционального редактирования нужно устанавливать десктопное приложение.
- Пресеты не всегда соответствуют указанному жанру.
- Создание происходит достаточно долго.
VEED
Сайт: veed.io
Язык интерфейса: английский
Количество бесплатных генераций: не ограничено
Доступ через VPN: нет
Наличие рекламы: нет
Простой генератор музыки по пресетам и текстовым описаниям. Полученные композиции можно слушать на сайте или скачивать как MP3-файлы. Разработчики не накладывают ограничений на их дальнейшее использование.
Плюсы:
- Регистрация необязательна.
- Полученный результат можно здесь же на сайте наложить на видео.
Минусы:
- Нет настроек.
- Всего 5 пресетов — чиллаут, хип-хоп, электроника, рок и танцевальная.
Voicemod
Сайт: voicemod.net
Язык интерфейса: английский
Количество бесплатных генераций: не ограничено
Доступ через VPN: нет
Наличие рекламы: нет
Небольшой сервис для машинной озвучки песен. Процесс создания поделен на 4 шага. Необходимо указать музыкальное сопровождение (из предустановленных вариантов) и голос, а затем напечатать текст для песни. Результат можно скачивать в виде аудиофайла или простого клипа — в качестве видеоряда на нем будет статичная картинка.
Плюсы:
- Качественная обработка тембров.
- 7 доступных голосов — 4 женских и 3 мужских.
Минусы:
- Нет регулируемых параметров.
- Только 15 готовых аккомпанементов.
Plugger
Сайт: plugger.ai
Язык интерфейса: английский
Количество бесплатных генераций: 30 бесплатных «кредитов»
Доступ через VPN: нет
Наличие рекламы: нет
Нейросеть на этом сайте пишет музыку по описаниям. Дополнительно можно указывать длительность трека. Разработчики предлагают и другие инструменты, например, подготовку скетчей, текстур, обработку фото, сочинение текстов.
Плюсы:
- Можно встраивать инструменты сервиса в собственные сайты и приложения.
- 2 доступные модели ИИ.
Минусы:
- Процесс генерации занимает много времени.
- Минимум настроек.
Fadr
Сайт: fadr.com
Язык интерфейса: английский
Количество бесплатных генераций: не ограничено
Доступ через VPN: нет
Наличие рекламы: нет
Нейросеть для обработки музыки. Позволяет извлекать вокал, бас, ударные и другие партии из существующих композиций, делать ремиксы и автоматически создавать диджейские сеты. В последнем случае алгоритм сводит и подгоняет треки по скорости.
Плюсы:
- Десятки разнообразных пресетов.
- Доступен VST-плагин для десктопных редакторов.
Минусы:
- Мало настроек.
Soundful
Сайт: my.soundful.com
Язык интерфейса: английский
Количество бесплатных генераций: 3 скачивания в месяц
Доступ через VPN: нет
Наличие рекламы: нет
Онлайн-приложение для написания треков и лупов. На сайте есть коллекция ранее сгенерированных композиций, которые доступны в качестве референсов. Перед созданием можно указывать тональность и скорость.
Плюсы:
- 8 жанров с дополнительными стилями.
- Качественная и быстрая генерация.
Минусы:
- Минимальные настройки.
- Многие пресеты открываются только по подписке.
WavTool
Сайт: app.wavtool.com
Язык интерфейса: английский
Количество бесплатных генераций: 20 запросов на каждые 8 часов
Доступ через VPN: нет
Наличие рекламы: нет
Многодорожечная студия с нейросетью. ИИ последовательно генерирует партии выбранных инструментов. Процесс может выполняться автоматически или по текстовым запросам. Готовый фрагмент можно копировать и редактировать вручную.
Плюсы:
- Предусмотрено управление горячими клавишами.
- Можно импортировать сторонние аудиофайлы и добавлять их на отдельную дорожку.
- Все, кто работали с современными секвенсорами, сразу разберутся в интерфейсе.
Минусы:
- Небольшой набор инструментов.
- Нет полноценного микшера.
- На бесплатном тарифе нельзя экспортировать в MIDI.
Софт с функциями генерации
Нейросеть на ПК для генерации музыки бесплатно предоставляет большие возможности. Информация хранится локально — не нужно тратить время на передачу файлов по сети. ПО поддерживает несколько форматов и позволяет регулировать множество параметров. При помощи специальных приложений можно создавать звуки, совмещать их с аудиофайлами или, наоборот, убирать ненужное звучание.
Adobe Audition
Язык интерфейса: английский
Количество бесплатных генераций: пробный период на 7 дней
Доступ через VPN: да
Наличие рекламы: нет
Профессиональный аудиоредактор от Adobe. Позволяет автоматически пересоздавать композиции под заданную длину. Может восстанавливать старые фонограммы и улучшать записи.
Плюсы:
- Десятки фильтров, эффектов и других функций с большим числом настроек.
- Есть режим многодорожечного редактирования.
- Поддерживает многие из актуальных и устаревших аудиоформатов.
Минусы:
- Сложный интерфейс.
- Для полноценной работы потребуется обучение.
- Adobe прекратила обслуживание российских клиентов.
АудиоМАСТЕР
Язык интерфейса: русский
Количество бесплатных генераций: не ограничено
Доступ через VPN: нет
Наличие рекламы: нет
Десктопный аудиоредактор с функцией генерации сигналов. АудиоМАСТЕР может также накладывать фоновые звуки, менять частотный спектр и тональность. Доступен и более привычный функционал: эквализация, реверберация, настройка громкости, удаление ненужных фрагментов аудиозаписи.
Плюсы:
- Интерфейс и справочные материалы на русском языке.
- Во всех функциях легко разобраться.
- 8 аудиоформатов с гибкой настройкой кодеков.
Минусы:
- Существует версия только для Windows.
Как выбрать из множества: сравнительная таблица
Подведем итоги
Мы разобрали современный музыкальный софт, который использует технологию машинного обучения. Она подходит для сочинения музыки. ИИ автоматизирует и переводит на качественно иной уровень привычный функционал, например, для шумоподавления и извлечения голоса. Подходящее ПО доступно на Windows, macOS и онлайн. Также есть мобильные приложения на Андроид и iOS.