Большие языковые модели (LLM), включая ChatGPT, за последние годы улучшили обработку и генерацию естественного языка. Однако насколько точно они имитируют нейронные процессы, остается неясным. Исследование Колумбийского университета и Института медицинских исследований Файнштейна Northwell Health показало, что, развиваясь, нейросети не только работают лучше, но и приобретают больше схожих черт с мозгом. Об этом сообщает TechXplore.
Исследователи изучили 12 моделей с открытым исходным кодом, разработанных за последние несколько лет, с практически идентичной архитектурой и близким количеством параметров. Одновременно с этим авторы регистрировали нейронную активность мозга нейрохирургических пациентов при восприятии речи, используя имплантированные в мозг электроды, установленные ранее для лечения.
Ученые предоставили текст большим языковым моделям и извлекли их эмбеддинги (вложения) — внутренние представления, которые различные слои нейросети используют для кодирования и обработки текста. Чтобы оценить сходство между ИИ-алгоритмами и мозгом, команда попыталась предсказать нейронные реакции на слова, используя эти вложения.
После сбора данных исследователи с помощью вычислительных средств анализировали степень соответствия между LLM и мозгом. В частности, изучалось, какие слои каждой ИИ-модели наиболее тесно коррелируют с областями мозга, ответственными за обработку языка. Известно, что нейронные реакции на речь поэтапно формируют языковые представления, начиная с анализа акустических и фонетических и заканчивая абстрактными компонентами речи.
Оказалось, что по мере того, как чат-боты становятся более производительными (например, лучше отвечают на вопросы), их встраивания приобретают сходство с нейронными реакциями мозга на язык. У самых продвинутых LLM это заметно больше всего. Соответствие иерархии мозга также повышается.
По словам ученых, до сих пор не до конца ясно, как работает мозг. Искусственный интеллект может помочь узнать что-то новое о нем, и наоборот.
Ранее нейросеть расшифровала язык растений.
