Искусственный интеллект лучше справляется с эссе на английском языке, чем современные школьники. К такому выводы пришли исследователи из Университета Пассау, оценив качество текстов по правилам, установленным Министерством образования Нижней Саксонии.
Эксперты заручились поддержкой учителей. Они анализировали выбор темы, полноту и логику текстов. Лингвистические аспекты тоже не обошли стороной: оценивали словарный запас, сложность и владение языком. Каждый критерий оценивали по шкале от 0 до 6, где 0 — худший балл, а 6 — лучший.
«Я был удивлен тем, насколько ясен оказался результат», — говорит профессор Штеффен Хербольд, заведующий кафедрой искусственного интеллекта в Университете Пассау и инициатор исследования. Обе версии чат-бота Open AI — GPT-4 и GPT-3 — набрали более высокие баллы, чем учащиеся. GPT-4 получил лучший результат, GPT-3 оказался чуть хуже.
111 учителей заполнили анкеты и оценили в общей сложности 270 эссе на английском языке. Исследовательская группа обнаружила самую большую разницу в овладении языком: ИИ набрал 5,25 (GPT-4) и 5,03 балла (GPT-3) соответственно, тогда как школьники набрали в среднем 3,9 балла.
«Это не означает, что ученики плохо владеют английским языком. Скорее, результаты, полученные машиной, исключительно высоки», — подчеркивает Аннетт Хаутли-Янис, младший профессор кафедры вычислительной риторики и обработки естественного языка в Университете Пассау.
Ранее британский словарь Collins English Dictionary раскрыл главное слово уходящего года. Даже тут искусственный интеллект снова оказался впереди.