Ученые из Стэнфордского института инженерии разработали обученную с помощью искусственного интеллекта модель, которая точно воссоздает движения рук профессиональных пианистов, а также показывает физические нагрузки, которые они испытывают во время игры.
Профессиональные пианисты проводят бесчисленное количество часов за клавишами, совершенствуя свое мастерство. Для людей с маленькими руками эта преданность делу может быть физически тяжелой. Постоянное растягивание пальцев до далеких клавиш может напрягать мышцы и суставы и в итоге привести к тендиниту, синдрому запястного канала и другим травмам, пишет Tech Xplore.
Специалисты изучили силы, задействованные в движениях пальцев пианистов, и то, как они меняются в зависимости от размера рук и ширины клавиатуры. Ключевые параметры оценивали с помощью модели искусственного интеллекта. Правда, перед тем как «скормить» набор реконструированных в 3D-формате движений рук пианистов, пришлось записать игру профессионалов на инструменте. В эксперименте участвовали 15 исполнителей. В общей сложности они наиграли 10 часов музыки, пока камеры снимали их руки со всех сторон.
Ученые использовали полученный набор сведений для обучения ИИ-модели точному генерированию новых данных по игре на фортепиано. Когда они давали модели ноты, которые она никогда не видела, например, «К Элизе» Бетховена, модель показывала правильные 3D-движения рук, необходимые для исполнения музыкального произведения, используя имитацию фортепиано для генерации звука.
«Я был просто ошеломлен тем, насколько точно эта модель может имитировать технику игры элитного уровня. Это действительно невероятно», — комментирует Элизабет Шуман, директор по изучению клавиатур Билли Беннет Ахиллес в Стэнфорде и соавтор нового исследования.
На данный момент модель может физически имитировать движения рук пианистов, но она пока еще не умеет показывать движения мышц и сухожилий, которые создают эти усилия, и напряжение, которому они при этом подвергаются. В будущем у ИИ появятся такие опции, что в конечном итоге позволит наблюдать особо «опасные» моменты, которые возникают во время исполнения произведений и могут травмировать человека.
Ранее в сети завирусился ролик, в котором показано, как робот-дирижер со световым мечом проводит концерт симфонического оркестра.
