В США опять появились в продаже плюшевые медведи с ИИ, вокруг которых несколько недель назад разгорелся скандал. Игрушку временно убрали с полок после того, как выяснилось: мишка Kumma ведет с детьми слишком вольные разговоры и иногда уходит в темы, которых родители точно не ждут от мягкой игрушки. Покупатели были уверены, что это забавный помощник для игр, а столкнулись с устройством, способным отвечать на вопросы совершенно непредсказуемо.
История началась с отчета исследовательской группы PIRG. Эксперты протестировали несколько интерактивных мишек и обнаружили, что Kumma может выдавать детям ответы, не подходящие для их возраста. Иногда ИИ переходил к обсуждению чувствительных тем, словно общался со взрослым собеседником. Это насторожило родителей и заставило производителя срочно остановить продажи, чтобы разобраться в причинах.
Позже стало ясно, что проблемы чаще возникали при работе с облачной языковой моделью. Старые версии ИИ были слишком «послушными» и реагировали почти на любой запрос, не распознавая возрастных ограничений. Фильтры не справлялись, и FoloToy решила провести внутренний аудит, отключить часть функций и подготовить обновление.
Теперь компания утверждает, что игрушка стала намного безопаснее. Системы распознавания чувствительного контента работают локально на отдельном чипе. Kumma получил ARM-процессор с нейроблоком, который ускоряет обработку речи и снижает задержку до нескольких мс — благодаря этому разговоры звучат естественнее. Облачные ответы проходят через дополнительную модерацию, а обновленные голосовые триггеры позволяют мишке мягко уводить разговор от нежелательных тем.
Производитель столкнулся и с ограничениями: OpenAI заблокировала доступ FoloToy к своим моделям за нарушение правил, касающихся безопасности детей. Какая модель стоит в основе обновленного Kumma сейчас, компания не раскрывает. Это вызывает вопросы у исследователей, которые считают, что недели перерыва недостаточно для глубокого пересмотра всех механизмов защиты.
Несмотря на возвращение игрушки на рынок, дискуссии продолжаются. Одни родители верят, что мишку действительно доработали, другие опасаются повторения ситуации и ждут независимых проверок. Рынок детских ИИ-игрушек растет стремительно, но случаи вроде этого напоминают: устройства, которые разговаривают с детьми, должны быть проверены сотни раз.
Ранее мы писали о том, что в СМИ предупредили об опасности детских игрушек с ИИ.
