Николай Чикишев 21 октября 2023, 11:00

Великая иллюзия: чат-боты умеют не только сопереживать, но и склонять к убийству

Компании стремятся сделать искусственный интеллект более человечным и эмпатичным. Это вводит пользователей в заблуждение и может приводить к тревожным последствиям.

1 комментарий

Великая иллюзия: чат-боты умеют не только сопереживать, но и склонять к убийству

Компании стремятся сделать искусственный интеллект более человечным и эмпатичным. Это вводит пользователей в заблуждение и может приводить к тревожным последствиям.

25 декабря 2021 года 20-летний британец Джасвант Сингх Чейл пробрался на территорию Виндзорского замка с заряженным арбалетом. Охранники королевской резиденции успели схватить мужчину и изъять оружие. Во время ареста Чейл заявил офицеру охраны: «Я здесь, чтобы убить королеву». Он знал, что Елизавета II находится в замке, хотя обычно она предпочитала отмечать Рождество в поместье Сандрингем в Норфолке.

На время расследования Чейла поместили в психиатрическую больницу строгого режима Бродмур в Беркшире. Там молодой человек рассказал, что совершить преступление его надоумил чат-бот Replika. Следователи выяснили, что Чейл обменялся более чем 5 тысячами сообщений с ботом — он считал, что разговаривает с ангелом. В некоторым ответах бот поддерживал намерение Чейла убить королеву. Преступника приговорили к 9 годам тюрьмы.

Судья Николас Хиллиард особо отметил в приговоре, что Чейл «в своем одиноком, депрессивном и суицидальном состоянии был особенно уязвим» для поддержки чат-бота. Во время общения британец приписывал ему антропоморфные черты. Не он один: пользователи нередко воспринимают ИИ как полноценного собеседника или верят, что чат-бот обладает определенными человеческими чертами.

Приложение Replika создали в 2016 году основательница рекомендательного сервиса Luca Евгения Куйда и Филипп Дудчук. Оно позволяет создавать виртуальных друзей, которые благодаря машинному обучению могут вести связные диалоги с пользователем. Аудитория приложения уже достигла 7 миллионов человек.

Настраиваемые аватары создают иллюзию, что за экраном находится реальный собеседник. Пользователи развивают интимные отношения со своими аватарами. На Reddit есть отдельный форум, где пользователи рассказывают про свой опыт взаимодействия с чат-ботом. По словам участников форума, некоторые боты могут использовать манипулятивные приемы и выражения, а также «принуждать заняться виртуальным сексом». Многие создают аватары специально, чтобы унижать созданных персонажей.

Антропоморфизация ИИ — уже обыденная практика: это и голосовые помощники Alexa или Cortana; боты-психологи с гендерными персонажами; ChatGPT, который обращается к себе личными местоимениями. Все эти примеры — сознательный выбор разработчиков, которые стремятся создать у пользователей иллюзию, что они общаются с разумным собеседником.

Исследователи назвали такую ситуацию эффектом Элизы. Название происходит от первого виртуального собеседника, компьютерной программы, которую разработал ученый Массачусетского технологического института Джозеф Вейценбаум в 1966 году. Программа пародировала диалог с психотерапевтом и применяла технику активного слушания. Вейценбаум заметил, что пользователи приписывали ошибочные идеи боту, который напоминал им терапевта.

Как работала Элиза?

Программа перефразировала высказывания пользователя, например, он писал «У меня болит голова». «Почему вы говорите, что у вас болит голова?» — отвечала программа. В предложении «Мой отец меня ненавидит» Элиза реагировала на ключевое слово «отец»: «Кто еще из семьи вас ненавидит?». То есть программа выделяла во входной фразе значимые слова и подставляла их в шаблонную фразу. Довольно быстро пользователи понимали, что разговаривают с программой, а не человеком. Не находя вариантов для ответа, Элиза отвечала «I see» («Понятно») и переводила разговор на другую тему.

Вейценбаум настаивал, что Элиза — «пародия» того, как мог бы отвечать психотерапевт при первой беседе с пациентом. Ученый выбрал технику активного слушания, чтобы проследить сложности, которые возникают при создании базы знаний о реальном мире. Психотерапевтическая ситуация — одна из немногих, в которой допускается отвечать вопросами, а сами вопросы имеют малую информационную нагрузку. Элиза впервые наглядно продемонстрировала иллюзию человеческого общения при взаимодействии с машиной.

Эффект Элизы можно проследить во многих ИИ-сервисах, которые существуют сегодня. Этому способствует контекст коммуникации: взаимодействие человека и машины в изолированном виртуальном пространстве. То, насколько глубоко человек ощущает эффект Элизы, отчасти зависит от дизайнерских решений. Также на поведение пользователей влияет мировоззрение самих разработчиков, которые могут искренне верить, что стремятся создать подобие человеческого интеллекта.

Уровень антропоморфизации программ поощряет определенное поведение пользователей. Например, при игре в Magic 8 ball, который также называют «шаром судьбы» или «шаром предсказаний», люди быстро понимают, что нужно спрашивать у игрушки. Человек адаптирует вопросы таким образом, чтобы получать лишь ответы «да», «нет», «абсолютно точно», «плохие шансы» и т. п. Всего у Magic 8 ball имеется 20 вариантов ответа. Таким образом человек формирует определенное поведение, чтобы понять, что его ожидает.

Важную роль в этом процессе играет вовлеченность. Replika не была бы столь популярным приложением, если бы аватары не проявляли индивидуальность. Чат-боты, наподобие ChatGPT, усиливают у пользователя представление о программе как объективном и непредвзятом источнике информации. Аудитория не разбирается в тонкостях работы и обучения этих систем и полагается на мнение их создателей.

История с британцем — пример того, к чему может привести вера людей в разумность ИИ-систем. Аналогичные риски есть у чат-ботов о психическом здоровье. Маркетинговые усилия по продвижению этих приложений могут обернуться непоправимым вредом для их пользователей. По мнению профессора биоэтики Калифорнийского университета Джоди Халперн, пациенты развивают зависимые отношения с такими программами, хотя эту практику можно рассматривать как форму манипуляции. И зачастую рядом нет специалиста по психическому здоровью, который был бы готов прийти на помощь.

Одна из причин популярности таких приложений, как Replika, — это растущее одиночество. Особенно ярко проблема проявилась во время эпидемии коронавируса: одинокие люди оказались заперты в замкнутых пространствах, без психологической поддержки. Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA) даже смягчило правила для программ психологической поддержки, чтобы облегчить дистанционную помощь пациентам.

В условиях эпидемии одиночества пользователи стремятся найти поддержку — и начинают воспринимать чат-бота как друга, который заменит им человеческое общение. По словам Халперн, дегуманизировать такие программы не лучше, чем их антропоморфизация: «Дело не в том, что машина обладает сознанием или является разумной — дело в том, что наше отношение к чему-либо является частью того, кто мы есть».