В последние годы проблема воспроизводимости научных исследований стала предметом активного обсуждения в мировом научном сообществе. Особое внимание к этому вопросу привлекла масштабная инициатива в Бразилии, где более пятидесяти команд ученых предприняли беспрецедентные попытки воспроизвести результаты десятков биомедицинских исследований. Итоги оказались больше чем тревожными: менее половины экспериментов удалось воспроизвести, что ставит под сомнение надежность опубликованных данных и подчеркивает распространённую в современной науке проблему. Инициатива, получившая название Brazilian Reproducibility Initiative, была запущена в 2019 году на базе Федерального университета Рио-де-Жанейро. Основной целью проекта стало не просто повторить отдельные исследования, а оценить воспроизводимость на основе методов, используемых в биомедицинских работах, а не по тематике, уровню цитируемости или предполагаемой важности результатов.
Такой подход позволил получить более объективную и системную картину ситуации с качеством научных данных в стране. Для реализации этой масштабной программы было задействовано 213 ученых из 56 лабораторий по всей Бразилии. Несмотря на сложные условия пандемии COVID-19, которая осложняла проведение экспериментов, команды смогли выполнить 97 валидных попыток воспроизведения 47 различных экспериментов, отобранных случайным образом из публикаций между 1998 и 2017 годами. Отбор проводился по популярным в бразильской биомедицинской науке методам — тестам клеточного метаболизма, методам амплификации генетического материала и поведенческим тестам на грызунах, что обеспечивало высокую техническую совместимость между лабораториями-участниками проекта. Совместная работа лабораторий выявила серьезные проблемы.
Оценка воспроизводимости велась с использованием пяти критериев, в числе которых была статистическая значимость результатов и направление выявленных эффектов. Лишь 21% повторно проверенных экспериментов удалось воспроизвести, что по сути означает, что большинство исследований, на которых строится биомедицинская наука в Бразилии, имеют сомнительную надежность. Еще одним ключевым открытием стало то, что эффект, описанный в оригинальных публикациях, в среднем на 60% превышал тот, что был зафиксирован при повторных экспериментах. Это говорит о тенденции к завышению результатов и переоценке эффективности методов или препаратов, что может иметь существенные последствия для практического применения и развития медицины. Проект вызвал широкий резонанс как в национальном, так и в международном научном сообществе.
Учитывая глобальный характер проблемы воспроизводимости, Бразильская инициатива стала своеобразным эталоном системного подхода к выявлению и решению этих проблем. Авторы проекта и координаторы считают, что полученные данные станут отправной точкой для реформирования научных практик в стране и улучшения качества исследований. Реформы должны касаться как государственных научных политик, так и внутриуниверситетских стандартов, что позволит повысить доверие к научным публикациям и снизить вероятность фальсификаций или ошибок. Вызовы, с которыми столкнулись участники проекта, не ограничивались только самой реконструкцией экспериментов. Важным аспектом стала необходимость стандартизации протоколов и методов, что является нетривиальной задачей, учитывая разнообразие лабораторий и применяемых техник.
Координация работы множества команд сродни работе оркестра, где каждая группа играет свою партию, но все должны следовать строгому музыкальному руководству. Отдельные лаборатории имели свои особенности и привычки в выполнении экспериментов, что затрудняло создание единых стандартов. Это свидетельствует о необходимости развития национальных и международных стандартов, которые обеспечат максимальную воспроизводимость при минимальных вариациях. На фоне обсуждения результатов бразильского проекта стоит подчеркнуть, что проблема воспроизводимости научных работ вовсе не уникальна для Бразилии. Ранее подобные исследования в США и Европе показали сопоставимые показатели воспроизводимости, что указывает на системный кризис в науке в целом.
Основными причинами называют склонность к публикации позитивных результатов, стремление быстро достичь значимых находок и недостаточные требования к качеству экспериментальных данных со стороны научных журналов и рецензентов. Тем не менее, результаты бразильского исследования выделяются своей масштабностью и методологическим подходом, ориентированным на методы, а не на предмет исследования. Это позволяет лучше понять, где именно происходят сбои и как их можно устранить. Исследователи уже выдвигают рекомендации по повышению прозрачности публикаций, обязательному предоставлению протоколов и экспериментальных данных и внедрению программ независимой проверки результатов до публикации. Еще одним важным аспектом является влияние результатов на научное образование.
Воспроизводимость — фундаментальное качество, на котором строится доверие к науке. Включение уроков и практик по методологической строгости и необходимости повторного тестирования в учебные программы станет ключом к воспитанию нового поколения исследователей, способных избегать ошибок прошлого. В целом, бразильский проект стал важным сигналом для научного сообщества мира. Он демонстрирует, что без постоянного контроля качества и внимания к деталям воспроизводимость останется камнем преткновения на пути развития биомедицинской науки. Только совместные усилия научных организаций, правительств и отдельных ученых смогут обеспечить переход к более надежным и доверительным результатам, что в конечном итоге повысит качество медицинской помощи и научных инноваций.
Продолжающиеся дебаты и исследования в области воспроизводимости обещают стать одним из ключевых направлений научной политики ближайших лет. Широкое распространение инициированных в Бразилии подходов и стандартов может привести к классификации не только научных методов, но и самой научной этики, открывая дорогу в эпоху, где качество и прозрачность станут приоритетом номер один для всех исследовательских проектов.
