В последние годы воспроизводимость научных исследований стала одной из ключевых тем в научном сообществе по всему миру. Проблема, когда результаты одного и того же эксперимента не удается получить вновь при повторном проведении, подрывает доверие к научным данным и ставит под сомнение качество многих публикаций. Особое внимание уделяется биомедицинской сфере, где фундаментальные научные открытия лежат в основе разработки лекарств и медицинских технологий, влияющих на здоровье миллионов людей. Недавно в Бразилии был завершён масштабный проект, уникальный по своей структуре и целям. Этот проект направлен на проверку воспроизводимости биомедицинских исследований, выполненных в стране за последние два десятилетия.
Результаты вызвали серьёзные дискуссии и поставили множество вопросов перед отечественным и международным научным сообществом. Инициатором проекта стала Бразильская инициатива по воспроизводимости (Brazilian Reproducibility Initiative), запущенная в 2019 году исследователями Федерального университета Рио-де-Жанейро. Главной задачей было оценить воспроизводимость экспериментов, не ориентируясь на отдельные научные направления или авторитетность публикаций, а выбирая работы по использованным методам. Такое решение было обусловлено желанием выявить системные проблемы в исследовательской практике, охватывающей различные области биомедицины. Проект объединил усилия более 50 научных коллективов, состоящих из 213 исследователей из 56 лабораторий по всей стране.
Они воспроизводили эксперименты из отобранных научных публикаций, охватывающих период с 1998 по 2017 год. Для воспроизведения были выбраны три наиболее распространённых в бразильских биомедицинских исследованиях метода: анализ клеточного метаболизма, амплификация генетического материала и тестирование поведения грызунов в лабиринте. Для повышения объективности воссоздания экспериментов каждая научная работа проверялась как минимум в трёх независимых лабораториях. Качество воспроизведённых данных оценивало независимое экспертное жюри, что снижало возможности предвзятости и ошибок. Результаты оказались весьма тревожными.
Только около 21% воспроизведённых экспериментов соответствовали хотя бы половине установленных критериев воспроизводимости. Такое низкое качество воспроизведения указывает на существование серьёзного разрыва между опубликованными научными данными и их реальной проверяемостью. Кроме того, экспериментальные воспроизведения выявили, что величина эффекта, заявленного в исходных публикациях, в среднем была на 60% больше, чем при повторных измерениях. Это свидетельствует о систематическом завышении значимости результатов в опубликованных работах. Причин такой ситуации можно назвать несколько.
Во-первых, экспериментальные протоколы иногда недостаточно подробно описываются в публикациях, что затрудняет их точное повторение. Во-вторых, существует давление на учёных по публикации положительных и впечатляющих результатов, а не на тщательную проверку и публикацию репликативных данных. Это приводит к тому, что некоторый эффект может быть случайным или преувеличенным. Кроме того, логистические сложности и неоднородность методов, используемых в разных лабораториях, также внесли свой вклад в сниженный уровень воспроизводимости. Учитывая, что проект развернулся в период пандемии COVID-19, многие исследовательские группы столкнулись с дополнительными трудностями как в организационном, так и в техническом плане.
Тем не менее, исследователи Бразильской инициативы по воспроизводимости видят в этих результатах повод для позитивных изменений. Они призывают к реформированию научной инфраструктуры в стране, внедрению более строгих стандартов и требованиям к качеству опубликованных данных, а также к формированию культуры открытости и прозрачности в научной работе. Одним из предлагаемых решений является развитие программ по обучению исследователей правильным методам дизайна экспериментов, статистического анализа и честного представления результатов. Акцент делается на поддержку репликационных исследований, которые традиционно проигрывают в приоритетах финансирования и публикаций по сравнению с новыми открытиями. Также важным аспектом эксперты считают необходимость создания национальных платформ для обмена протоколами, данных и материалами, что облегчит независимую проверку и повторение экспериментов.
Это может стать залогом улучшения качества научных публикаций и укрепления доверия к результатам исследований как внутри страны, так и на международном уровне. Таким образом, масштабный проект в Бразилии по проверке воспроизводимости биомедицинских исследований выявил существенные проблемы, но также предоставил ценные данные для реформирования научной деятельности. Опыт этой инициативы может послужить примером для других стран, стремящихся повысить качество и надежность фундаментальных и прикладных исследований. В условиях стремительного развития биомедицины и возрастающих требований к доказательной базе медицинских решений результаты подобных проектов подчеркивают необходимость общественного диалога, государственных вложений и реформ в научной политике. Только так можно обеспечить, чтобы научные открытия были действительно надёжными и приносили пользу обществу.
В целом, вопрос воспроизводимости остаётся одним из краеугольных камней современной науки и требует постоянного внимания, совместных усилий и системных изменений. Бразильский опыт показывает, что проблемы есть у всех, но вместе с тем существуют возможности для преодоления кризиса доверия и повышения качества научной информации.
