Чат-ботов научили взламывать друг друга
Специалисты из Наньянского технологического университета в Сингапуре придумали, как заставить ИИ-чат-ботов писать промпты, которые позволяют компрометировать других чат-ботов.
Специалисты из Наньянского технологического университета в Сингапуре придумали, как заставить ИИ-чат-ботов писать промпты, которые позволяют компрометировать других чат-ботов.
Джейлбрейк получил название Masterkey. Для начала исследователи провели обратный инжиниринг процесса, посредством которого большие языковые модели (LLM) распознают нежелательные пользовательские запросы и защищаются от них. Далее они научили такую модель самостоятельно учиться генерировать промпты, которые обходят защитные механизмы других её «сородичей». Процесс можно автоматизировать, что позволяет создавать модели, которые способны адаптироваться и генерировать новые вредоносные промпты, даже если разработчики моделей-жертв пофиксят их.
Исследователи провели ряд экспериментов на больших языковых моделях, чтобы доказать угрозу их находки, после чего сообщили об этом их разработчикам. Работа должна привлечь внимание компаний к уязвимым местам и ограничениям их моделей, а также помочь предотвратить хакерские атаки на них.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.