Ученые создали специальное устройство для перевода мыслей человека в текст с помощью преобразователя, подобного ChatGPT.
Это первый в истории случай, когда непрерывная речь была воспроизведена на основе действий мозга, которые считывались посредством функциональной магнитно-резонансной томографии (фМРТ).
Декодер смог не просто изобразить, а интерпретировать суть тех историй, которые люди слушали, смотрели или даже воображали, с помощью информации о мозге, получаемой с аппарата фМРТ.
Что это дает?
Это предоставляет искусственному интеллекту возможность читать мысли людей с невероятной эффективностью. И хотя пока эта технология находится на ранней стадии развития, ученые считают, что в будущем она будет активно использоваться для того, чтобы помочь людям с неврологическими заболеваниями, влияющими на речь, общаться с миром.
Однако все зависит от того, в какие руки попадет эта технология, ведь она может быть использована и не в благих целях. Например, для того, чтобы следить за людьми и незаконно читать их мысли. Названная учеными «ментальная конфиденциальность» должна соблюдаться.
Как проходил эксперимент?
Декодер был создан и протестирован в ходе эксперимента с участием 3 человек, которые провели 16 часов в аппарате фМРТ, слушая различные истории. Для обучения нейросети использовались автобиографические истории, на которых она училась связывать семантические особенности этих монологов с нейронной активностью, зафиксированной фМРТ. Так она изучала связи паттернов работы мозга и определенных слов и фраз.
После завершения этой фазы эксперимента участники снова отправились на сканирование мозга, только теперь они слушали не те истории, что использовались для обучения нейросети.
Декодер вполне успешно справился со своей задачей и перевел прослушиваемые участниками записи в текст. Правда, без определенных различий оригинала и того, что услышал искусственный интеллект, не обошлось. Например, вместо «У меня еще нет водительских прав» он выдал «Я еще не начинал учиться водить».
Различия возникли из-за того, что существующие методы, использующие имплантированные в мозг электроды, обычно предсказывают текст на основе двигательной активности. А новый декодер — на основе сканирования данных, полученных с фМРТ.
По мнению самих исследователей, различия могли появиться и из-за того, что нейросеть работает на уровне идей и семантики, то есть не пытается воспроизвести текст дословно, передавая вместо этого его суть.
Позже ученые решили проверить, как искусственный интеллект считает мысли участников, когда они не слушают информацию, а смотрят немые фильмы или просто молча воображают. В обоих случаях, с помощью все того же фМРТ, декодер смог расшифровать мысли участников эксперимента.
Во время тестов с аудиозаписями нейросеть была гораздо точнее, чем в попытках изобразить молча воображаемые ситуации. Например, при интерпретации предложения «шел по грунтовой дороге через пшеничное поле и ручей, мимо каких-то бревенчатых строений», искусственный интеллект выдавал текст о том, что испытуемый «проходил через мост на другую сторону ручья к очень большому зданию вдалеке».
Что дальше?
Пока что декодер, подключенный к фМРТ, — не самая портативная и транспортабельная технология, но ученые верят, что вскоре они смогут каким-то образом адаптировать его, подключив к датчикам функциональной ближней инфракрасной спектроскопии. Устройства для ее проведения можно надеть на голову пациента.
К тому же перед применением технологии необходимо решить этический вопрос о конфиденциальности человеческих мыслей и ума в целом.
Напомним, ранее мы рассказывали о том, как робособаку Boston Dynamics научили говорить.
