Нейросеть GPT-4 смогла сыграть в классический шутер DOOM без предварительной подготовки. Этого добился сотрудник Microsoft и исследователь Йоркского университета Адриан де Винтер.
Чтобы нейросеть смогла поиграть, пришлось использовать интерфейс GPT-4V. Он позволяет ИИ обрабатывать изображения и взаимодействовать с полученной информацией. Де Винтер объяснил, что GPT-4V делает снимки экрана игрового движка, а затем создает структурные описания состояния игры. После нейросеть принимает решения на основе визуальных данных и предыдущих действий.
GPT-4 смогла перемещаться по уровням, открывать двери и сражаться с врагами. Нейросеть научилась стрелять по противникам, но с ограничением. Когда монстры выходят за пределы экрана, ИИ забывает про них — поэтому враги могут легко убить главного героя сбоку или сзади. Подсказка для нейросети о том, что делать в случае урона, когда противник не виден, не слишком помогает.
Де Винтер отметил, что GPT-4 играет на уровне новичка и неправильно объясняет свои действия. Когда нейросеть просили рассказать о том, почему она приняла верное решение во время игры, результаты получались ошибочными. Исследователь добавил, что его при этом беспокоит то, насколько простым оказался процесс настройки нейросети для стрельбы. Де Винтер считает, что нужно подумать о том, каковы последствия потенциального неправильного использования ИИ-моделей в таких целях.
Ранее энтузиаст смог запустить DOOM на «умной» зубной щетке.