Новая речевая система разработана в Колумбийском университете в Нью-Йорке. Ее задача фиксировать мысли человека и переводить их в речь. Это могло бы сильно упросить жизнь, например, Стивену Хокингу, которому не пришлось бы больше стучать по клавишам синтезатора речи.
Ученые объединили последние достижения в области глубокого обучения с технологиями синтеза речи. Их итоговый интерфейс мозг-компьютер перехватывает сигналы мозга непосредственно из слуховой коры. Затем они декодируются вокодером с искусственным интеллектом или синтезатором для создания понятной речи. Ее смогли понять трое из четырех участников теста.
Следует сказать, устройство не переводит мысли в слова. Система фиксирует характерные когнитивные реакции человека, когда он слушает записи говорящих людей. А глубокая нейронная сеть декодирует или транслирует эти паттерны, позволяя системе реконструировать речь.
Нейронные сети обучены изучению взаимосвязи между мозговыми сигналами и звуками, и в результате могут затем восстановить понятные репродукции слов или предложений, основываясь только на мозговых сигналах.
Хотя речь и звучит очень роботизировано, но ее вполне можно разобрать. Таким образом, ученые смогли научиться прямому сопоставлению сигналов мозга с речевыми функциями. Скоро они смогут синтезировать более сложные слова и предложения и фиксировать мозговые сигналы людей, которые просто думают или воображают «речь».
Записи синтезированной речи можно найти здесь.
