Nature. 2020 Jun;582(7810):84-88.  doi: 10.1038/s41586-020-2314-9.

Variability in the analysis of a single neuroimaging dataset by many teams.

Botvinik-Nezer R ^1,2,3 и еще более 100 авторов

¹ Sagol School of Neuroscience, Tel Aviv University, Tel Aviv, Israel.

² Department of Neurobiology, The George S. Wise Faculty of Life Sciences, Tel Aviv University, Tel Aviv, Israel.

³ Department of Psychological and Brain Sciences, Dartmouth College, Hanover, NH, USA.

и еще 141 организация

Последовательность действий при анализе данных во многих научных областях становится сложной и изменчивой. В данном исследовании проверяли насколько изменчивость таких процедур оказывает эффект на результаты нейровизуализации, полученной с помощью функциональной магнитно-резонансной томографии (фМРТ). Семьдесят независимых экспертных групп просили проанализировать один и тот же набор данных с целью проверки девяти предварительных гипотез. Вариативность подходов к анализу в полной мере проявилась в том факте, что никакие две группы не выбрали идентичные последовательности процедур для анализа этих данных. Подобная гибкость подходов к анализу привела к существенной вариации при проверке гипотез, даже для тех групп, чьи статистические карты оказались высоко скоррелированными на промежуточных этапах выполнения анализа. Вариация полученных результатов была связана с несколькими аспектами методологии анализа. Существенно, что использованный мета-аналитический подход, позволивший агрегировать информацию от разных групп, выявил значительный консенсус в активированных регионах. Более того, изучение предсказаний исследователей данной области демонстрирует завышение вероятности достоверных обнаружений, даже теми исследователями, которые знакомы с этим набором данным. Таким образом, наши данные показывают, что гибкость в подходах к анализу может иметь существенные эффекты на научное заключение. Нам удалось идентифицировать факторы, которые могут быть связаны с вариабельностью анализа фМРТ. Результаты подчеркивают важность валидизации и обмена процедурами сложного анализа и демонстрируют необходимость выполнения многократного анализа одних и тех же сырых данных. В статье обсуждаются возможные подходы, которые могут быть использованы для нивелирования проблем, связанных с вариативностью анализа фМРТ данных.