Исследователи Питтсбургского университета проверили, сможет ли человек отличить сгенерированные нейросетью стихи от написанных человеком. Как оказалось, люди ошиблись и приняли ИИ-стихи за человеческие — и наоборот. Респонденты рассказали, почему так произошло.

Исследователи провели два эксперимента. В первом участвовали 1634 человека. Им показали 10 стихотворений. Пять принадлежали одному из английских или американских поэтов классической и современной литературы, другая пятёрка — ChatGPT 3.5 «в стиле этого поэта». После каждого показа участникам предлагали оценить происхождение стихотворения по шкале от 1 до 100 баллов, где 1 — точно написал ИИ, 100 — точно человек.

Второй эксперимент включал 696 участников, разделённых на три группы. Им тоже показывали пять настоящих и пять ИИ-стихов, но одной группе предварительно сказали, что все произведения написал человек, второй — что все сделаны с помощью ChatGPT 3.5, а третьей не стали ничего уточнять. Затем исследователи предложили оценить стихи по семибалльной шкале от «крайне плохо» до «чрезвычайно хорошо» в каждом из следующих критериев:

- креативность;
- эмоциональная составляющая;
- глубина (степень раскрытия темы);
- формальные качества (ритм, рифма);
- эстетические особенности (красота, лиризм).

В результате участники считали ИИ-поэзию настоящей, а человеческую — сгенерированной. А более высокие оценки по упомянутым критериям получали в основном сгенерированные стихи. Сами респонденты предположили, что такой результат можно объяснить следующим: сложность «человеческого» стиха они принимали за бессвязность ИИ, а простоту сгенерированного произведения — за ясность, которой не может добиться ИИ. То есть они изначально считали, что ИИ не может соперничать с человеком, и выбирали ответы исходя из этого.