Ассистенты на основе искусственного интеллекта могут похищать персональные данные или подсовывать пользователям фишинговые ссылки, предупреждают специалисты по LLMSecurity. В частности, модель-парсер может предложить перейти по ссылке, в которой содержится вирус. Хакеры могут добавить в ИИ зловредную функцию с помощью SQL-инъекций. Работает такая фишинговая ссылка так же, как и при обычной рассылке мошенниками. Особенно много вопросов вызывают локальные ИИ-помощники.
«Если посмотреть в интернете предложения по созданию чат-бота или чат-ассистента, их очень много. Пользователь не будет задумываться, проверял ли кто-нибудь чат-бота на безопасность, что лежало в основе обучения нейронки, куда передаются и как хранятсяперсональные данные. Как при использовании любого другого приложения, он просто начнет с ним взаимодействовать. Не стоит забывать, что вся информация, которую вы «скармливаете» искусственному интеллекту, попадает в глобальную систему обучения. Категорически не рекомендуется указывать боту паспортные данные, реквизитыбанковских карт, номера телефонов родных и друзей и другую чувствительную информацию», — прокомментировала Мария Усачева, руководитель проектов AI Security, AppSec Solutions.
Важная проблема — галлюцинации. То, что языковые модели собирают информацию для ответа из большого массива данных, не означает, что решение задачи из домашнего задания будет верным. ИИ может придумать решение математической задачи, которого просто не существует, или подтасовывать факты в исторических событиях и добавлять в них ложные события, отметила Мария Усачева. Команда AI Security как раз занимается тестированием языковых моделей и определением их уязвимых сторон.
«Важно понимать, что языковая модель объективна не более, чем конкретный учитель или преподаватель, поскольку она обучается на той информации, которую в нее “закладывает” человек. Вероятность галлюцинаций зависит от конкретной языковой модели, однако, по нашим расчетам, различные модели выдают от 10% до 30% неверных ответов. Поэтому главное правило для тех, кто использует их в обучении — сохранять критическое мышление. То, что выдал ассистент, стоит перепроверить в первоисточнике», — рассказала Мария Усачева.
Делегирование ИИ рутинных задач соответствует цели, с которой он был создан, но не стоит увлекаться этим слишком сильно. НИУ Высшая школа экономики выпустила исследование «Отстающие и опережающие: как студенты используют генеративный искусственный интеллект в образовательных целях». В рамках опроса студентов 10 крупнейших ВУЗов России (МГИМО МИД России, МГТУ им. Н. Э. Баумана, ТГУ, НИУ ВШЭ, МИФИ, ТОГУ, УрФУ, МГПУ, Центральный университет и Университет Иннополис — прим. авт.) выяснилось, как именно обучающиеся применяют ИИ в повседневной учебной рутине. Среди студентов, использующих ИИ для написания текстов, четверо из пяти осуществляют проверку полученного текста на достоверность. Остальные 25% доверяют, не проверяя. Любопытными оказались данные о том, как учащиеся проводят время, которое для них освободил ИИ: 69% тратят его на отдых и личные дела, и лишь немногие направляют высвободившиеся ресурсы на решение более сложных творческих задач. Таким образом, считают авторы исследования, растет неравенство между студентами, которые используют ИИ-инструменты для делегирования им рутины и так развивают свой потенциал, и теми, кто просто «закрывает» задачи, не вдумываясь в контекст. Массовое использование искусственного интеллекта ставит под сомнение прозрачность оценки знаний, глубину понимания материала и вовлеченности студентов.
Искусственному интеллекту делегируют знания не только студенты и школьники, но и взрослые профессионалы, в частности, из сферы IT.
«Участились случаи, когда на техническое собеседование приходит кандидат, который решает задание, и мы понимаем, что он делает это полностью с помощью нейросети. Это видно по его решениям. У нас был кейс, когда мы задали вопрос и попросили не пользоваться моделью — кандидат не смог справиться с задачей. Есть те, кто сразу открыто говорят, что работают вместе с ИИ», — поделилась Дарья Фигуркина, директор по талантам Swordfish Security.
