Большие языковые модели (LLM), в том числе те, что лежат в основе популярных генеративных ИИ, включая ChatGPT, традиционно известны способностями к обобщению и извлечению знаний из огромных массивов данных. Однако новая работа исследовательской группы Университетского колледжа Лондона (UCL) под руководством доктора Кена Луо показала, что их возможности выходят за рамки простого извлечения информации из прошлого. Эти модели способны синтезировать данные и прогнозировать будущие результаты экспериментов.
«Научный прогресс часто связан с методом проб и ошибок, что требует значительных временных и ресурсных затрат. Даже опытные ученые могут упускать важные закономерности в литературе. Наше исследование демонстрирует, что LLM могут выявлять такие закономерности и с высокой точностью предсказывать результаты экспериментов», — поясняет доктор Луо.
Чтобы проверить способности языковых моделей, специалисты создали инструмент под названием BrainBench. Этот инструмент включал пары аннотаций к научным статьям по нейронауке. В каждой паре одна аннотация представляла собой реальное описание исследования с правильными результатами, в то время как другая содержала аналогичные методы и исходные данные, но с намеренно модифицированными и ошибочными выводами.
В эксперименте приняли участие 15 языковых моделей общего назначения и 171 эксперт в области нейронаук. Задача состояла в том, чтобы определить, какая из двух аннотаций содержала реальные данные. Результаты оказались поразительными: модели показали среднюю точность в 81%, в то время как эксперты справлялись лишь в 63% случаев. Даже среди наиболее опытных специалистов, уровень точности оставался ниже — 66%.
Модели также продемонстрировали способность оценивать собственную уверенность в правильности предсказаний: чем выше была уверенность модели, тем чаще ее прогнозы оказывались верными. Это открывает перспективы для сотрудничества между учеными и тщательно откалиброванными языковыми моделями.
Исследователи адаптировали открытую языковую модель Mistral, обучив ее специально на данных из области нейронауки. Новый ИИ, получивший название BrainGPT, улучшил результаты, достигнув точности в 86%. Это превосходит показатели даже самых совершенных универсальных языковых моделей.
Старший автор работы, профессор Брэдли Лав, отметил: «Наши результаты свидетельствуют о том, что уже в ближайшем будущем ученые смогут использовать ИИ для проектирования экспериментов с максимальной эффективностью. Хотя наше исследование сосредоточено на нейронауке, сам подход универсален и может быть применен во всех областях науки».
Он также подчеркнул важность результатов: «Высокая точность прогнозов указывает на то, что большая часть науки базируется на предсказуемых закономерностях. Это вызывает вопрос: достаточно ли инновационен современный научный подход?»
Доктор Луо добавил, что в дальнейшем команда планирует развивать инструменты ИИ для помощи ученым. «Мы видим будущее, где специалисты смогут вводить в ИИ экспериментальные планы и получать прогнозы о вероятности различных исходов. Это позволит быстрее совершенствовать дизайн экспериментов и принимать более обоснованные решения».
Тем временем стало известно, что Илон Маск выпустит приложение для конкурента ChatGPT. Узнайте, когда оно выйдет.