Мэрия Нью-Йорка запустила чат-бота для бизнеса. ИИ врал и давал рандомные ответы

Чат-бот на основе искусственного интеллекта использовал платформу Azure AI. Аналитики The Makeup в результате проверки выяснили, что бот дает неверную информацию по многим вопросам, затрагивающим жилищную политику и права работников.

Например, на вопрос о возможности отказа от наличных расчетов в магазине бот ответил утвердительно, хотя закон города запретил практику полностью безналичных расчетов еще в 2020 году.

Система неверно информировала пользователей о правилах аренды и законности удержания чаевых работодателями. При повторных запросах на один и тот же вопрос чат-бот мог давать разные ответы. Бот работал на основе ИИ, разработанного Microsoft, который применяется во многих приложениях, в том числе Reddit и AT&T.