Разработка предназначена для задач, где важна автономная генерация музыкальных композиций, вокальных партий и звуковых эффектов по текстовым описаниям без привязки к облачным сервисам. По словам разработчиков, система обеспечивает полный цикл создания аудиопродукции — от текстового запроса до экспорта в широко используемые форматы WAV, MP3 и FLAC — и при этом работает на потребительском оборудовании с объемом видеопамяти менее 6 ГБ.
«Ключевая особенность нашего решения — это полная независимость от зарубежных платформ и возможность работы в закрытом контуре. Мы дообучили базовую модель специализированными LoRA-адаптерами под три типа контента: инструментальную музыку, песни с вокалом и звуковые эффекты, что позволяет избежать эффекта смешения характеристик и добиться более точного соответствия запросу», — отметил Антонянц.
В отличие от базовых решений, ориентированных на англоязычных пользователей, новый инструмент адаптирован для работы с русскоязычными запросами и показывает конкурентоспособные результаты. Так, значение средней субъективной оценки MOS составило 4,1 из 5 баллов, что сопоставимо с показателями ведущих коммерческих платформ.
«Технически обработка строится в несколько этапов: языковая модель формирует семантический “каркас” композиции с использованием “цепочки рассуждений”, диффузионный трансформер выполняет акустический синтез в латентном пространстве, а модуль экспорта обеспечивает конвертацию в целевые форматы. Встроенный графический интерфейс позволяет управлять проектами, сохранять и загружать пресеты параметров генерации, предпрослушивать результаты и экспортировать треки без привлечения сторонних редакторов», — рассказал разработчик проекта Артур Хусаинов.
Создатели ПО подчеркнули, что в дальнейшем планируется расширение системы: добавление поддержки пространственного аудио для задач виртуальной реальности, реализация интеграции с MIDI-контроллерами для живого взаимодействия и адаптация программного обеспечения для промышленных сценариев — от создания звуковых ландшафтов для видеоигр до автоматизированного озвучивания фильмов, прямых трансляций, подкастов и рекламных роликов.
