Нейробиологи научились переводить мозговые волны в речь

Используя технологию сканирования мозга, искусственный интеллект и синтезаторы речи, ученые преобразовали импульсы мозга в понятную человеку речь.
Григорий Матюхин

Новая речевая система разработана в Колумбийском университете в Нью-Йорке. Ее задача фиксировать мысли человека и переводить их в речь. Это могло бы сильно упросить жизнь, например, Стивену Хокингу, которому не пришлось бы больше стучать по клавишам синтезатора речи.

Фото: depositphotos
Фото: depositphotos

Ученые объединили последние достижения в области глубокого обучения с технологиями синтеза речи. Их итоговый интерфейс мозг-компьютер перехватывает сигналы мозга непосредственно из слуховой коры. Затем они декодируются вокодером с искусственным интеллектом или синтезатором для создания понятной речи. Ее смогли понять трое из четырех участников теста.

Следует сказать, устройство не переводит мысли в слова. Система фиксирует характерные когнитивные реакции человека, когда он слушает записи говорящих людей. А глубокая нейронная сеть декодирует или транслирует эти паттерны, позволяя системе реконструировать речь.

Нейронные сети обучены изучению взаимосвязи между мозговыми сигналами и звуками, и в результате могут затем восстановить понятные репродукции слов или предложений, основываясь только на мозговых сигналах.

Общая схема функционирования системы. Фото: Scientific Reports
Общая схема функционирования системы. Фото: Scientific Reports

Хотя речь и звучит очень роботизировано, но ее вполне можно разобрать. Таким образом, ученые смогли научиться прямому сопоставлению сигналов мозга с речевыми функциями. Скоро они смогут синтезировать более сложные слова и предложения и фиксировать мозговые сигналы людей, которые просто думают или воображают «речь».

Записи синтезированной речи можно найти здесь.