ИИ-ассистенты не повышают производительность программистов и лишь добавляют ошибок

В исследовании принимали участие 800 разработчиков на протяжении двух трехмесячных периодов. Во время первого периода программисты работали с помощью традиционных инструментов, во втором они переходили на использование ассистента GitHub Copilot.

Ожидалось, что применение ассистента снизит количество ошибок и увеличит производительность труда. Однако  результаты опровергли это предположение. Рост количества ошибок составил 41%, а также ассистент не улучшил ситуацию с эмоциональным выгоранием специалистов.

Участники эксперимента признались, что написанные с помощью ИИ участки кода трудно поддаются анализу и выявлению ошибок, поэтому программисту бывает проще самому переписать нужный фрагмент. Также большую часть запросов ассистенты истолковывают неверно.