Воспроизводимость научных исследований является краеугольным камнем научного метода и залогом доверия к получаемым результатам. Однако последние годы ознаменовались нарастающей озабоченностью в связи с кризисом воспроизводимости, который затрагивает многие области науки, особенно биомедицину. Уникальный проект, проведённый в Бразилии, который сосредоточился на проверке воспроизводимости биомедицинских исследований, выявил тревожную ситуацию — менее половины воспроизведённых экспериментов смогли подтвердить первоначальные выводы. Это исследование стало одним из крупнейших в своем роде и вызвало бурные дискуссии о качестве научных публикаций, методологическом подходе и необходимости реформы научного процесса в стране и за её пределами. Коалиция из более чем 50 исследовательских групп объединилась для того, чтобы проверить достоверность выводов бразильских биомедицинских работ, опирающихся на три широко используемых научных метода.
Среди выбранных методов оказались: анализ метаболизма клеток, методы амплификации генетического материала и поведенческие тесты на грызунах с использованием лабиринтов. Оригинальные статьи были опубликованы между 1998 и 2017 годами, при этом как минимум половина авторов каждой работы имела отношения к научным учреждениям Бразилии. Проект, носивший название Бразильская инициатива по воспроизводимости, стартовал в 2019 году на базе Федерального университета Рио-де-Жанейро (UFRJ). Отбор методик и статей для репликации был основан не на тематике исследований или престижности журналов, а именно на распространенности методов среди бразильских учёных, что позволило вовлечь широкий спектр лабораторий страны в реализацию проекта. Всего в нём приняли участие 213 специалистов из 56 исследовательских центров по всей Бразилии.
Основные результаты вызвали обеспокоенность: воспроизвести удалось только около 21% экспериментов по большинству применяемых критериев. В дополнение к этому, величина эффектов, обнаруженных при повторных исследованиях, была в среднем на 60% меньше, чем в оригинальных публикациях. Это явное свидетельство существующей проблемы преувеличения результатов в научных статьях, что может вести к неверному пониманию и применению полученных данных. Пандемия COVID-19 добавила дополнительные сложности в работу, затрудняя координацию мероприятий и доступ к лабораториям. Более того, возникают вопросы о том, насколько строго должны следовать протоколам оригинальных исследований при попытках воспроизведения.
Некоторым лабораториям предлагалось немного адаптировать процедуры, что становилось предметом дискуссий и влияло на качество репликаций. Координатор проекта Олаво Брохер Амарал сравнил процесс с попыткой превратить погодные ансамбли в единый оркестр — весьма сложная задача. Расхождения между воспроизведёнными и оригинальными результатами могут отражать системные проблемы научной культуры и публикационной практики. Во-первых, существуют проблемы с недостатком прозрачности и полноты описания методологий и данных в публикациях, что затрудняет точное повторение исследований. Во-вторых, прессинг на учёных с целью публикации ярких и значимых результатов часто приводит к предвзятости в сторону положительных находок и преувеличенных эффектов.
Кроме того, возросшая конкуренция и нехватка финансирования могут стимулировать неэтичное поведение, включая манипуляцию данными и отдачу предпочтения публикациям в престижных журналах, что еще более уменьшает объективность и воспроизводимость научных результатов. Обнаружение этих проблем на примере страны с активно развивающейся наукой, как Бразилия, служит сигналом для всего мирового научного сообщества, подчеркивая важность усиления стандартов прозрачности и открытости. Проект также подчеркнул необходимость развития культуры открытой науки. Включение Share-библиотек, открытие протоколов, публикация отрицательных результатов и данных исходных экспериментов способны значительно повысить прозрачность научных работ и улучшить возможность их воспроизведения. В Бразилии поднимается важный вопрос государственной поддержки научных исследований, а также обучения новых исследователей навыкам метаисследований и критического анализа.
Еще одним актуальным аспектом стала роль научных журналов и рецензентов. Многие журналы всё еще ставят в приоритет оригинальность и сенсационность исследований, нежели их надежность и воспроизводимость, что приводит к публикации завышенных и не всегда достоверных результатов. В ответ на эту проблему некоторые ведущие издания по всему миру стали вводить обязательные требования к предоставлению полного описания методик и исходных данных. Участники бразильского проекта призывают расширять программы репликаций, не только для выявления слабых мест, но и для формирования новых стандартов научной честности. Следует переосмыслить модели научного финансирования и мотивации исследователей, чтобы акцент смещался с простого количества публикаций на качество и проверяемость результатов.
Стоит отметить, что описанные проблемы с воспроизводимостью не уникальны для биомедицины или Бразилии. Они затрагивают многие области науки и многие страны, что делает глобальную реакцию необходимой. Метаисследования, подобные данному проекту, играют ключевую роль в выявлении системных нарушений и выступают катализаторами для реформ. В заключение, крах воспроизводимости во множестве биомедицинских работ бросает вызов научному сообществу и требует комплексных мер. Более строгое стандартизирование методологий, повышение требований к прозрачности данных, изменение культурных и институциональных норм, а также внедрение программ повторяемых исследований — все это поможет восстановить доверие к результатам научных исследований и обеспечит более устойчивое развитие биомедицины и других дисциплин по всему миру.
Результаты бразильского проекта — мощное напоминание о том, что научный прогресс невозможен без внимательного и критического отношения к собственным и чужим данным.
