Фильтруй комментарии
Основная цель создания программы – определять наличие сарказма в рецензиях на приложения для iOS и OSX, опубликованные пользователями в ответ на выпуск обновления продукта. Программа наделена искусственным интеллектом и была обучена на выборке из 1200 отзывов, которые авторы рассортировали по группам (часть комментариев содержала сарказм, другая часть – нет).
Раньше сарказм в высказываниях определяли в основном по словам-маркерам («да, конечно») и другим формальным признакам. Автор работы Кристофер Хон предложил другой метод: обнаруживать смену утверждения (когда в одной фразе есть и позитив, и негатив).
Отлично, да!
Код программы выложен в свободный доступ на GitHub. Разработчики убеждены, что от этого лишь выиграют, так как другие пользователи будут её тестировать на собственных выборках, совершенствуя качество результатов.
Сейчас точность определения сарказма программой TrueRatr составляет около 75%. Такой результат был получен на тестовой выборке, которая содержала 100 обычных и 100 саркастических рецензий.
Впрочем, эксперты не скрывают, что программу пока легко сбить с толку. Так, в тесте, предложенном Ars Technica, наиболее саркастичным был признан такой комментарий: «Я *** люблю это приложение, но камера в моем Snapchat не работает! Пожалуйста, исправьте это! Спасибо!»
