Интерпретация незначимых результатов в психологических исследованиях
Критики концепции проверки нулевой гипотезы десятилетиями утверждали, что полное отсутствие предполагаемой связи, различия или эффекта воздействия часто возникает в статистике, но не имеет смысла в реальной жизни. Более того, статистическая незначимость результата может быть следствием недостаточной мощности исследования (например, из-за маленькой выборки). Однако, учитывая популярность проверки нулевых гипотез, возникает вопрос: как ученые-психологи описывают и интерпретируют незначимые результаты?
Ответ на этот вопрос искала команда европейских исследователей, которые проверили обсуждение результатов в 599 научных статьях в области психологии, опубликованных в 2009, 2015 или 2021 г. Статьям приписывался один из трех кодов. Незначимый результат считался правильно интерпретированным, если он описывался в терминах «эффект не был значимым», «эффект не был обнаружен». Указание на «отсутствие эффекта» кодировалось как ошибка интерпретации, причем они могли относиться к выборке («Экспериментальная и контрольная группы были одинаковыми») или к популяции в целом («Подростки и взрослые не различаются»).
Было обнаружено, что в 80,9% статей незначимый результат интерпретировался как отсутствующий, причем в 57,9% прямо говорилось об отсутствии связи на уровне популяции. Только в 5,4% случаев указывалась возможность получения значимого результата в будущих исследованиях. Статистически значимых улучшений в этой тенденции с 2009 до 2021 г. обнаружено не было (что, впрочем, сами авторы связывают с недостаточной выборкой – в каждом году было отобрано около 200 статей).
Авторы предупреждают: чрезмерно резкие формулировки о полном отсутствии связи могут приводить к исчезновению интереса к определенным проблемам и даже к принятию медицинских и политических решений. Поэтому исследователям рекомендуется указывать на возможные причины незначимости результата, сравнивать свои результаты с минимальным размером эффекта или пользоваться Байесовскими статистиками.
Материал подготовила Разваляева Анна (лаборатория психологии познавательных процессов и математической психологии)