IEEE: промпт-инжиниринг мёртв

Специалисты Vmware Рик Бэттл и Теджа Голлапуди обнаружили, что одни и те же приёмы промпт-инжиниринга могут по-разному влиять на качество ответов моделей. К примеру, просьба объяснить цепочку рассуждений в некоторых случаях приводила к улучшению ответов на задачах по математике и на логику, а иногда наоборот ухудшала производительность.

В последнее время стали появляться инструменты, которые автоматизируют процесс. Получив несколько примеров и метрики успеха, они осуществляют подбор оптимальных подсказок для конкретных моделей. Бэттл и его коллеги выяснили, что сгенерированные промпты почти всегда работают лучше подобранных методом проб и ошибок. Кроме того, такие инструменты гораздо быстрее людей и могут находить эффективные промпты, которые кажутся нелогичными для людей.

Также, по мнению Бэттла, алгоритмическая оптимизация имеет смысл потому, что люди склонны к антропоморфизации промптов, ведь модели «говорят на английском». На самом деле это не так — скорее, это алгоритмы «говорят» друг с другом на одном языке. Он убеждён, что в будущем людям не придётся оптимизировать запросы к нейросетям вручную.