Новый теоретический анализ показал, что большие языковые модели — такие, как ChatGPT, математически ограничены уровнем креативности обычного любителя и не способны достичь профессионального мастерства.
Автор работы — Дэвид Кропли, профессор инженерных инноваций из Университета Южной Австралии — решил привнести объективные измерения в споры вокруг генеративного ИИ. Вместо субъективных оценок он применил стандартное определение креативности к математическим принципам работы языковых моделей.
Согласно этому определению, творческий продукт должен одновременно обладать двумя качествами: эффективностью, то есть, быть полезным и уместным и оригинальностью, то есть быть новым и неожиданным. Шедевры человеческого творчества сочетают в себе обе характеристики на высоком уровне — они одновременно уникальны и безупречно исполнены.
Кропли проанализировал механизм предсказания следующего слова, на котором основана работа языковых моделей. Эти системы разбивают текст на элементы (токены) и вычисляют вероятность того, какой токен должен следовать за предыдущими. Именно здесь кроется фундаментальное ограничение искусственного интеллекта.
Чтобы ответ был эффективным, модель должна выбирать слова, которые с высокой вероятностью будут соответствовать контексту. Например, для фразы «Кот сидел на…» эффективным завершением будет слово «коврике». Но поскольку это самый вероятный вариант, он же оказывается наименее оригинальным. И наоборот: неожиданное окончание, такое как «красном гаечном ключе» будет, конечно же, выглядеть новаторски, но бессмысленно.
Выразив эту зависимость математически, ученый определил верхний предел креативности ИИ — 0,25 по шкале от нуля до единицы. Этот потолок достигается только при умеренном балансе обоих факторов. Сопоставив результат с моделью «Четырех К» (классификацией уровней креативности от любительского до легендарного), Кропли установил, что предел ИИ соответствует границе между повседневным любительским творчеством и профессиональным уровнем.
«Хотя ИИ может имитировать творческое поведение — порой весьма убедительно — его реальная творческая способность ограничена уровнем среднего человека и никогда не достигнет профессиональных стандартов при нынешних принципах проектирования», — объясняет Кропли. «Многие думают, что раз ChatGPT может генерировать истории или стихи, значит, он креативен. Но генерировать что-то — это совсем не то же самое, что быть творческим».
Исследование объясняет и то, почему широкую публика творческие результаты ИИ зачастую впечатляют: большинство людей сами работают на любительском уровне, и модель, чье «творчество» соответствующая этому уровню, кажется им вполне компетентной. Однако профессионалы быстро распознают шаблонность такого контента.
«Опытный писатель или художник может создать нечто по-настоящему оригинальное и эффективное. Языковая модель — никогда», — подчеркивает Кропли. «Она всегда будет производить нечто среднее, и если креативные индустрии станут слишком полагаться на возможности искусственного интеллекта, они получат шаблонные, повторяющиеся работы». Для достижения экспертного уровня креативности потребуется принципиально новая архитектура, которая сможет генерировать идеи, не привязанные к статистическим закономерностям прошлого.
Ранее о том, что ИИ «убивает» творчество рассказал российский эксперт.
