Если привычные нам языковые модели, например, ChatGPT просто предсказывают, каким должен быть следующий ответ на основе огромных массивов текста, то многоагентный (или мультиагентный) ИИ способен самостоятельно принимать решения, реагируя на изменения внешних факторов. Представьте флот беспилотных автомобилей, которые делят одну дорогу и должны мгновенно координировать свои действия — управлять ими без участия человека может только ИИ-агент.
Сарра Алькахтани, доцент кафедры информатики Университета Уэйк-Форест, занимается обучением с подкреплением в мультиагентных средах (MARL). Недавно она получила престижную премию CAREER от Национального научного фонда США для разработки стандартов и тестов, которые помогут гарантировать надежную работу многоагентных систем даже в случае сбоя или взлома одного из участников.
По словам Алькахтани, ИИ-агенты не просто делают предсказания — они оценивают уровень неопределенности вокруг себя и решают, безопасно ли действовать самостоятельно или лучше обратиться за помощью к человеку. Обучение таких систем построено на том же принципе, по которому учимся мы сами: агенты совершают ошибки и получают за них «наказание» в виде отрицательных чисел, а за правильные действия — «награду», положительные числа. Постепенно агенты «понимают», какое поведение ведет к успеху.
Однако при всех перспективах — от управления медицинскими дронами, доставляющими кровь в труднодоступные районы, до систем мониторинга окружающей среды — такая технология остается уязвимой. Алькахтани обнаружила, что даже небольшие изменения в окружении или постановке задачи заставляют агентов ошибаться. А если злоумышленник перехватит управление хотя бы одним агентом, это нарушит работу всей команды.
Сейчас алгоритмы тестируют в игровых симуляциях с четкими правилами, но главная проблема — переход из виртуального мира в реальный. Именно над этим работает Алькахтани. Она планирует испытать свои разработки на группах дронов, которые будут патрулировать перуанскую Амазонию в поисках нелегальных золотых приисков, уклоняясь от угроз со стороны браконьеров.
На вопрос о доверии к искусственному интеллекту Алькахтани отвечает неожиданно: она доверяет системам, которые создает сама, но главный вопрос в другом — достаточно ли усилий мы вкладываем, чтобы сделать эти технологии понятными и надежными для обычных пользователей? Ведь прежде чем выпускать ИИ-агентов в реальный мир, люди должны понимать, как именно те будут себя вести.
Ранее ученые объяснили, почему мышление нельзя свести к компьютерному коду.
