Воспроизводимость научных исследований является краеугольным камнем надёжной науки. В биомедицинской области, где любые новые открытия могут привести к изменениям в лечении и профилактике заболеваний, важность достоверных и воспроизводимых данных особенно высока. Однако последние годы показывают тревожную тенденцию: многие научные результаты оказываются трудно воспроизводимыми или вовсе не подтверждаются при повторных экспериментах. Это явление получило название «кризиса воспроизводимости». Одним из важнейших свидетельств этого кризиса стала масштабная инициатива, организованная в Бразилии – проект, в ходе которого более 50 научных команд взялись за задачу проверить достоверность десятков биомедицинских исследований.
Результаты оказались разочаровывающими и поставили под сомнение качество большого числа опубликованных работ. Бразильская инициатива по воспроизводимости была запущена в 2019 году учёными Федерального университета Рио-де-Жанейро и включила в себя сотрудничество 213 исследователей из 56 лабораторий по всей стране. Особенностью этого проекта стало то, что проверялись не отдельные научные работы из разных областей, а целиком сосредоточенность на трёх популярных методах, применяемых в биомедицине. Так, для проверки были отобраны исследования, в которых использовались анализ метаболизма клеток, методы амплификации генетического материала и процедуры тестирования поведения грызунов в лабиринтах. Такой фокус позволил задействовать экспертизу и оборудование, которые были доступны во многих лабораториях, и обеспечить более однородные условия для воспроизведения опытов.
В рамках исследования был выбран случайный набор публикаций периода с 1998 по 2017 годы, в которых не менее половины авторов имели бразильскую аффилиацию. Исследователи отобрали 60 исходных статей и провели по три независимых попытки воспроизвести каждый эксперимент. В итоге было сделано 97 валидных повторных тестов из 47 разных опытов. Для оценки воспроизводимости применялась система из пяти критериев, главными из которых были совпадение направленности статистически значимых результатов текущих повторов с первичными публикациями. К сожалению, только 21% исследований удалось воспроизвести согласно большинству применимых критериев.
Кроме того, первоначальные статьи в среднем демонстрировали эффект на 60% более выраженный, чем подтверждённый в повторных опытах. Такой разрыв указывает на систематическую склонность к завышению результатов в опубликованных работах. Это приводит к тому, что несмотря на внешнюю кажущуюся убедительность, значительная часть научных выводов может не выдержать критики при дальнейшем независимом тестировании или внедрении в клиническую практику. Эти результаты согласуются с предыдущими масштабными международными исследованиями по воспроизводимости в разных областях науки, где показатели успешного воспроизведения экспериментов также не превышают 50%. Однако уникальность бразильского проекта в том, что акцент был сделан на определённые методики, а не на научные области или уровень цитируемости.
Такой методологический подход позволил более объективно оценить качество методической базы национальных исследований. Причины возникших проблем с воспроизводимостью сложны и многогранны. Среди ключевых факторов можно выделить недостаточно детальное описание протоколов в статьях, что осложняет точное воспроизведение условий экспериментов. Технические различия между лабораториями, качество материалов, вариативность биологических моделей влияют на результат. Кроме того, существует тенденция публиковать более яркие и statistically significant результаты, что ведёт к «проблеме публикационного смещения» и «p-hacking» — манипуляциям с данными для достижения желаемых значимых результатов.
Бразильская инициатива стала важным сигналом для научного сообщества страны. По словам координаторов проекта, имеющиеся материалы и результаты позволяют инициировать системные изменения на уровне университетов и государственных научных политик. Государственные программы финансирования исследований могут пересмотреть критерии отбора проектов, включая обязательные меры по повышению транспарентности и воспроизводимости. Университеты могут внедрять обучение молодых исследователей грамотным методам разработки и описания исследований, а также стимулировать публикацию отрицательных и репликативных результатов. В долгосрочной перспективе поднятые проблемы требуют внимания на международном уровне.
В эпоху глобального сотрудничества и обмена данными усилия по повышению качества научной работы становятся обязательными. Технологические решения, включая стандартизацию протоколов, открытые базы данных с первичными результатами и использование автоматизированных платформ для сбора и анализа данных, обещают помочь улучшить ситуацию. К тому же инициатива продолжает поддерживаться заинтересованными научными группами, готовыми расширять выборку воспроизводимых методов и исследований. Результаты бразильского проекта демонстрируют, что воспроизводимость исследований – не просто техническая задача, а призыв к реформам всей научной системы. Они напоминают о том, что надёжность биомедицинской науки напрямую влияет на здоровье общества и эффективность медицинских инноваций.
Усиление норм добросовестности, повышение прозрачности и развитие культуры открытой науки станут ключевыми компонентами для выхода из кризиса. Таким образом, масштабная проверка бразильских биомедицинских экспериментов выявила серьёзную проблему переоценки результатов и низкой воспроизводимости, подтверждая глобальные тревоги научного сообщества. Этот опыт стал стимулом для переосмысления и преобразования моделей научной работы, что в конечном итоге должно привести к более устойчивому и доверительному развитию науки как в Бразилии, так и во всём мире.
