Одноклассники внедрили модель машинного обучения, позволяющую автоматически выявлять токсичные комментарии и ограничивать их авторов в написании новых на определённый промежуток времени — от одного часа до 24 часов, в зависимости от того, как часто пользователь оставляет негативные высказывания в адрес других.
По данным исследования ОК, негативные посты вызывают злость у более чем 40% пользователей, принявших участие в опросе. ML-модель была обучена на 400 тысячах высказываний, которые можно описать как недружелюбные или провоцирующие негативную дискуссию. Чтобы выяснить, какие комментарии, по мнению пользователей ОК, токсичны и нежелательны, соцсеть провела исследование среди своей аудитории. Запуск ML-модели позволил сократить время обработки жалоб на токсичные посты в три раза и быстрее помочь людям с решением их проблем.
Мы видим по запросам пользователей, что у нашей аудитории есть потребность в пространстве для безопасного и уважительного общения: треть всех жалоб на платформе связаны с негативными, по мнению пользователей, комментариями, а 80% обращений в службу поддержки по поводу комментариев нацелены против «токсичности». Мы обучали эту модель больше года и продолжим совершенствовать её в дальнейшем.
«Вместе с другими продуктовыми решениями, которые мы внедрили за последние два года, ограничение токсичных комментаторов позволит соцсети не только быстрее вернуть на платформу редко посещающих ОК пользователей, но и привлечь новых», – объясняет Москвичев.
Ранее в этом году соцсеть начала автоматически обнаруживать на платформе нецензурные слова и скрывать их, а также размывать изображения эротического характера. ОК используют модерацию на базе машинного обучения, чтобы ограничивать другой нежелательный и неприемлемый контент. Например, блокируют то, что предназначено для аудитории 18+, размывают и удаляют фотографии со сценами насилия. В прошлом году соцсеть также запустила ML-модель, ограничивающую навязчивые знакомства и общение с нежелательными собеседниками на площадке.