Ученые проверили, сможет ли ИИ заменить геймера в игре Red Dead Redemption 2

Задача ученых заключалась в обучении модели GPT-4V взаимодействовать с компьютером и воспринимать визуальные и звуковые сигналы, как это делает обычный геймер. Для эксперимента исследователи выбрали игру Red Dead Redemption 2 (RDR2), так как она имеет «сложную систему управления черным ящиком, которая воплощает в себе самые требовательные компьютерные задачи и позволяет нам оценить границы производительности нашей платформы в таких виртуальных средах».

Сложность обучения состояла в механике пользовательского интерфейса, поскольку диалоги, уникальные значки, подсказки и инструкции требуют понимания игрового процесса. Система не может обойтись при прохождении игры только базовыми знаниями, поэтому RDR2 отлично подходит для обучения ИИ. Модель тренировалась на взаимодействии с мышью и клавиатурой и не имела доступа к какому-либо внутреннему состоянию игры или API.

Ученые разработали мультимодального агента CRADLE — интерфейс между GPT-4V и RDR2. Агент мог «последовательно выполнять все задачи основной сюжетной линии», однако испытывал трудности с прохождением миссий с интенсивной перестрелкой, а также многоэтапных миссий с открытым финалом. Возможности «пространственно-визуального распознавания» GPT4-V ограничены: модель не справилась со специфическими концепциями: уникальными значками в игре, мини-картами и общими препятствиями в игровой среде.