TL;DR: приложения для проверки фактов с использованием искусственного интеллекта потенциально могут принести больше вреда, чем пользы, что потенциально может привести к деградации когнитивных способностей человека, когда дело доходит до распознавания фактической информации.

ChatGPT уже портит наши когнитивные гаджеты. Рандомизированное исследование зафиксировало ослабление критического мышления в результате использования ChatGPT. Исследование под названием ИИ неэффективен и потенциально вреден для проверки фактов, проведенное Обсерваторией социальных сетей под руководством выдающегося профессора Филиппо Менцера.

Впервые исследователи смогли изучить с помощью рандомизированного эксперимента, как использование ChatGPT для проверки фактов влияет на функцию наших «когнитивных гаджетов» критического мышления.

Эксперимент проходил в социальной сети. Участники из репрезентативной выборки в 1,5 тыс.+ человек:

  • либо использовал, либо НЕ использовал ChatGPT для проверки фактов в заголовках политических новостей;
  • В зависимости от того, что говорил им их «когнитивный гаджет» критического мышления, они либо верили, либо не верили заголовкам, и либо делились новостями, либо не делились ими.

И исследователи исследовали:

  • насколько эффективен ИИ при проверке фактов при анализе ложных и правдивых заголовков новостей;
  • как результаты проверки фактов ИИ влияют на то, поверит ли человек новостям или нет;
  • решили они поделиться этим или нет.

Есть три основных вывода:

  1. В целом ChatGPT достаточно хорошо справляется с проверкой фактов:
  • для проверки правдивости заголовков ложных новостей отлично: 90% детектируется правильно, при лишь 10% неопределенности.
  • с правдивыми новостями дела обстоят не так хорошо: только 15% были точно идентифицированы, при этом 20% были ложноположительными (принимая их за фейки) и 65% — с разной степенью неопределенности (истинными или ложными).

2. Однако ценность пункта 1 сводится на нет тем фактом, что использование людьми проверки фактов с помощью ИИ не оказывает существенного влияния

  • их способность распознавать правдивость заголовков (на рисунке слева).
  • их готовность поделиться правдивыми новостями (на рисунке справа).

3. Более того, что еще хуже, проведение проверки фактов с помощью ИИ, несомненно, вредит, взяв на себя часть (или даже всю) работу, ранее выполненную «устройствами критического мышления» людей:

  • ИИ снижает веру людей в правдивые заголовки, когда они ошибочно называют их ложными;
  • ИИ повышает веру в ложные заголовки, отмечая их как возможно правдивые или нет;

В заключении исследования авторы указывают на значительный потенциальный вред, причиняемый приложениями ИИ, предлагающими людям проверку фактов.

Я бы добавил, что это довольно мягкий вывод. Ведь всего через полгода неявный ИИ-фактчекинг будет окружать нас повсюду: от поисковых и справочных систем до офисных приложений, от всевозможных рекомендательных сервисов до личных помощников. И если результаты исследования будут подтверждены рецензированием и дальнейшими экспериментами, это будет означать, что деградация человеческих «когнитивных гаджетов» за счет передачи функций когнитивного критического мышления ИИ не требует смены поколений; оно начинается сразу же с использования ИИ (аналогично тому, как деградировал «гаджет умственного расчета» с распространением калькуляторов).

Ссылка на исследование: https://arxiv.org/abs/2308.10800v1