Результаты более половины психологических исследований оказались невоспроизводимы

Сергей Громов, 42 года

Одинцово, Россия

Группа психологов, возглавляемая специалистом в области социальной психологии Брайаном Ноузеком (Brian Nosek) из Center for Open Science (США) попыталась в рамках «Проекта по изучению воспроизводимости научных работ: Психология» повторить 100 различных исследований в разных отраслях психологии, опубликованных в ведущих научных журналах. Результат получился просто шокирующим – по мнению ученых, им удалось воспроизвести с разной степенью близости к оригинальному исследованию только 39 из 100 работ. А полный анализ, опубликованный сегодня в Science, показал, что статистически значимые результаты были получены только в 36 процентах работ, при этом уровень значимости был в среднем в два раза ниже, чем декларируемый в статьях.

Проект по проверке воспроизводимости результатов психологических работ начался в ноябре 2011 года на фоне нескольких отчетов о мошенничествах, натяжках и ошибках в области статистического анализа в статьях по психологии. Независимая группа отобрала 100 статей, опубликованных в ведущих специализированных журналах. Их тематика затрагивала разные отрасли психологического знания – от реакций детей и взрослых на страх, до сравнительного изучения разных методов обучения арифметике.

Затем исследователи попытались воспроизвести описанные исследования. В апреле 2015 года группа опубликовала предварительные результаты. Проводившие повторные работы ученые должны были оценить по ряду критериев – удалось или не удалось им воспроизвести то или иное исследование. Суммировав оценки, группа присуждала каждой работе один из семи рангов – от высшего («практически идентичная») до низшего («какое-либо сходство отсутствует»). В итоге 15 работ воспроизвести не удалось вообще, а всего нереплицируемыми были признаны результаты 61 статьи.

Опубликованный сегодня полный отчет выявил еще более печальную картину: вопреки заявленным в 97 процентах работ статистически значимым результатам, при воспроизведении они были повторены только в чуть больше трети случаев, а средняя оценка значимости эффекта снизилась почти вдвое.

В то же время ряд ученых выдвинул предположение, что невоспроизводимыми могут быть до 80 процентов всех исследований в области психологии, так как команда Нозека отбирала статьи только из наиболее уважаемых и рецензируемых журналов.

Воспроизводимость результатов исследования считается одним из важнейших критериев научности знания (наряду с критерием фальсифицируемости Карла Поппера). В общем случае ее можно определить как близость результатов повторных экспериментов, при условии, что все их условия были повторены (метод, дизайн исследования, средства, инструменты, алгоритм, выборка испытуемых и прочее). Для обеспечения возможности повторения экспериментов в научных статьях считается обязательным привести их подробные, детальные описания. Результат считается достоверным и надежным, если несколько разных независимых групп ученых смогли повторить эксперимент и получить близкие результаты.

В настоящий момент идет отдельная дискуссия о воспроизводимости в социальных и гуманитарных науках, а также такой пограничной области знаний как психология. Считается, что необходимо развести понятия репликация (воспроизводимость исследования так как она описана выше) и воспроизводимость для социальных наук. В этом случае к работе прилагается набор данных, с которым работал исследователь и описания способа их обработки (включая, например, программный код и алгоритмы). Если другой ученый, используя те же данные и тот же способ их обработки, получил сходные результаты – значит работа должна считаться воспроизводимой.

Даниил Кузнецов (28 августа 2015 года)

Источник: https://nplus1.ru/news/2015/08/28/psychology-studies-fail-reproducibility

Примечание 1: Брайан Артур Носек - американский социальный психолог, профессор психологии в Университете Вирджинии, а также соучредитель и директор Центра открытой науки.

Примечание 2: Центр открытой науки - это некоммерческая технологическая организация, базирующаяся в Шарлоттсвилле, штат Вирджиния, ставяшая себе цель "повысить открытость, целостность и воспроизводимость научных исследований".

Да-да, продолжаем верить психологам и носить им деньги за лечение. Они ведь столько толстых и умных книг написали со своими теориями и прочими умозаключениями. Это называется, наука и доказательная медицина, наносят ответный удар дедушке Фрейду и классической психологии.

2019-08-04 в 11:21

Picchio Serpentino, 50 лет

Москва, Россия

Всё правильно, Серёж. Именно поэтому после публикации любопытных психологических опытов их начинают повторять разные группы в разных вариациях - выражаясь математическим языком, уточнять область определения эффекта и значимые/незначимые факторы. Зачастую оказывается, что результат, полученный для белых европейцев, практически не проявляется для негров или арабов (что, впрочем, совершенно не удивительно).

Кстати, если Вы удосужитесь ознакомиться - обнаружите, что в физике с повтояемостью результатов дела тоже обстоят куда хуже, чем хотелось бы. Например, пару лет назад в одном из опытов зарегистрировали скорость частицы выше скорости света - и до сих пор никто не смог ни повторить этот опыт, ни найти в нём ошибку. И статья о том опыте тоже напечатана в очень солидных научных журналах, так что можете с тем же рвением атаковать школьные учебники физики.

2019-08-04 в 12:36

Сергей Громов, 42 года

Одинцово, Россия

Picchio Serpentino,

Ну если вы мне покажите исследование, в котором будет указано что из 100 опытов по физике, опубликованных в ведущих научных журналах, удается воспроизвести только 36 или 39, то это будет значить что у физики тоже есть проблемы с научностью. Но на мой взгляд, невоспроизводимые эксперименты в физике носят единичный характер и быстро отвергаются научным сообществом как неверные.

С уважением

2019-08-04 в 12:41

Picchio Serpentino, 50 лет

Москва, Россия

В физике и исследования не надо - все знают, что к экспериментальным данным надо относиться очень осторожно по той причине, что повторить эксперименты крайне затруднительно из-за их стоимости. Вот, например, недавно вывели на орбиту Спектр-РГ. Программа его исследований уже расписана на пять лет вперёд, а те данные, которые он вернёт, проверить просто некому. Лет через пятнадцать-двадцать, наверное, запустят следующий аппарат - который более подробно исследует интересности, найденные этим, а также снова вернёт набор продвинутых данных, независимо верифицировать которые будет просто некому.

2019-08-04 в 13:20

Асти, 31 год

Санкт-Петербург, Россия

Вот поэтому я люблю математику. Пока что, большинство результатов в ней верифицируемы.

2019-08-04 в 13:43

Сергей Громов, 42 года

Одинцово, Россия

Picchio Serpentino

Ну невозможность повторить эксперименты из-за того что ни у кого нет денег и желания строить второй Большой адронный коллайдер или вторую орбитальную обсерваторию Спектр-РГ, это другая проблема. Кстати, оба указанных проекта создавались учеными из разных стран мира. Спектр-РГ создавали специалисты из России, Германии и США. Это является некоторой гарантией, на мой взгляд, что результаты исследований не будут искажаться в чью-то пользу. А то что у классических психологов 60% ключевых исследований до сих пор невозможно верифицировать при повторении экспериментов, всерьез ставит вопрос о том, можно ли, при такой низкой степени верификации, считать то, чем они занимаются, научными исследованиями (критерий Поппера, однако).

С уважением

2019-08-04 в 15:02

Picchio Serpentino, 50 лет

Москва, Россия

Ну невозможность повторить эксперименты из-за того что ни у кого нет денег и желания строить второй Большой адронный коллайдер или вторую орбитальную обсерваторию Спектр-РГ, это другая проблема.

С точки зрения "высшей истины" про повторяемость - в общем та же. В деталях, конечно, различия. В частности, нынешней физике пока сравнительно хорошо с тем, что она работает в более-менее однородной среде - что помогает повторяемости экспериментов. Когда она попробует воспроизвести те же эксперименты где-нибудь вблизи звезды, в царстве жёстких излучений и специфической гравитации - наверняка возникнет целая прорва неожиданных "неповторяемостей" и связанных с ними уточнений.

В психологии же среда по факту неоднородная. Невозможно повторить тот же эксперимент с теми же людьми в том же состоянии - да и не нужно, в этом нет ценности. Но, соответственно, нужно куда больше усилий для того, чтобы правильно ранжировать каждый фактор, определить, насколько этот результат универсальный, а насколько - определяется условиями среды и какими именно. Это объективная сложность, математически вполне понятная, и я не вижу причин из-за неё критиковать дисциплину. Важно лишь правильно оценивать результаты исследований, полученные таким путём - то есть, не считать их "универсальными законами", пока не получено достаточное количество разнообразных подтверждений.

2019-08-04 в 15:38

Андрей, 35 лет

Одесса, Украина

Picchio Serpentino

Кстати, если Вы удосужитесь ознакомиться - обнаружите, что в физике с повтояемостью результатов дела тоже обстоят куда хуже, чем хотелось бы. Например, пару лет назад в одном из опытов зарегистрировали скорость частицы выше скорости света - и до сих пор никто не смог ни повторить этот опыт, ни найти в нём ошибку.

Вообще-то ошибку нашли, там что-то с кабелем было, подробности есть в сети. И главное, что тот результат не преподносился как сенсационное открытие, напротив, получившие его 1000 раз все перепроверили и не найдя ошибок, обратились к другим ученым с просьбой воспроизвети результат или помочь найти в чем ошибка.

2019-08-04 в 16:03

Виктор, 53 года

Москва, Россия

Психология никогда не была наукой, не случайно этих "специалистов" называют психолухами, но это не мешает им дурачить людей и брать деньги за свои курсы, даже дипломы выдают.

2019-08-04 в 16:14