Энтузиаст устроил необычный эксперимент в популярной игре Minecraft. Он смог собрать в ней языковую модель CraftGPT — аналог нейросети ChatGPT.
Уникальный проект представил блогер по имени sammyuri. Результатами он поделился в своем YouTube-канале. По словам энтузиаста, основой языковой модели CraftGPT стал редстоун — материал в мире Minecraft, который способен проводить сигналы. Поэтому он обошелся без специальных команд или дополнительных пакетов модификаций.
Модель получила больше 5 млн параметров. Это мало по сравнению с передовыми нейросетями, которые обладают миллиардами параметров. Тем не менее это впечатляющий результат с учетом того, что модель работает прямо в игре. Блогер обучил ее с помощью языкового набора данных TinyChat.
CraftGPT позволяет работать с относительно короткими предложениями. Контекстное окно небольшое — всего 64 токена. По словам sammiyam, этого достаточно для очень коротких разговоров. Сложно представить, кто будет использовать модель на постоянной основе, однако здесь интересна сама техническая реализация.
При этом «компьютер» для работы с CraftGPT оказался очень большим. В игровом мире он состоит из десятков тысяч блоков: его объем равняется 1020х260х1656 блоков. В связи с этим блогеру пришлось использовать специальный мод Distant Horizons, который отображает удаленные объекты с более низким уровнем детализации. Чтобы просто запустить сервер с CraftGPT, требуется компьютер с как минимум 32 ГБ оперативной памяти, но лучше использовать не менее 64 ГБ.
Кроме того, не стоит рассчитывать, что модель будет быстро работать. «Введите запрос и нажмите клавишу Enter. Подождите пару часов, пока будет сгенерирован ответ; индикатор выполнения показывает ход обработки текущего токена, а двоичный счетчик — количество обработанных токенов. После завершения вы можете ввести другой запрос», — говорится в описании проекта на GitHub.
Ранее разработчики из компании OpenAI представили функцию ChatGPT Pulse — она выступает в качестве своеобразного помощника для пользователей.
