В последние годы проблема воспроизводимости научных исследований привлекает всё большее внимание как в научном сообществе, так и среди широкой публики. Отдельно взятые научные работы, особенно в биомедицинской области, часто оказываются трудновоспроизводимыми или вовсе невоспроизводимыми в независимых лабораториях. Эту глобальную проблему решать решила бразильская инициатива, которую возглавили исследователи Федерального университета Рио-де-Жанейро. Результаты их работы оказались тревожными и отражают масштабные трудности в достоверности биомедицинских данных в стране. Коллектив более 50 команд из 56 лабораторий, объединённый в рамках Бразильской инициативы по воспроизводимости, провёл многолетнее исследование, охватившее достаточно широкий временной период — с 1998 по 2017 годы.
Основной целью проекта было проверить надёжность выводов, сделанных в научных публикациях, которые применяли три наиболее распространённых биомедицинских метода, часто используемых в бразильских исследованиях. Среди этих методов — анализ клеточного метаболизма, метод амплификации генетического материала и тест лабиринта для грызунов, позволяющий оценить когнитивные способности и память. Выбор именно методов, а не отдельных научных областей, стал принципиальным решением коллектива, поскольку позволял проверить репликабельность результатов на более широком уровне, без ограничений специальных дисциплин и их особенностей. Проект, запущенный в 2019 году, оказался очень сложным по исполнению. Его реализация пришлась на период пандемии COVID-19, что значительно усложнило коммуникации, лабораторные работы и синхронизацию действий между разными командами.
Более того, у коллективов возникали разногласия относительно точности следования оригинальным протоколам реплицируемых экспериментов — получить тот же результат, воспроизводя методику с высокой точностью, в реальности оказалось крайне непросто. На этапе подбора ссылок исследователи взяли рандомизированную выборку публикаций, авторы которых были в основном бразильскими учёными. Из большого числа работ были отобраны те, что содержали необходимую статистическую информацию и использовали выбранные методы. Каждая публикация тестировалась сразу в трёх независимых лабораториях, после чего специальная комиссия оценила качество и достоверность проведённых повторных экспериментов. В итоге удалось совершить 97 валидных попыток воспроизведения, охватив 47 различных исследований.
Результаты оказались далеко не утешительными: удалось воспроизвести исходные выводы менее чем в половине случаев, а по более жёстким критериям воспроизводимость опускалась до 21%. Такой показатель подтверждает тенденции, ранее наблюдаемые в других подобных масштабных международных проектах. Кроме того, анализ сравнения эффектов экспериментов выявил, что исходные статьи систематически переоценивали реальный эффект исследуемых факторов примерно на 60%. По мнению руководителей проекта, эти данные служат сигналом о необходимости серьёзных реформ и пересмотра научной политики в стране. Одна из координаторов инициативы, профессор Мариана Боэчат де Абреу, отмечает, что теперь у бразильского научного сообщества есть фактическая база для выработки мер, направленных на улучшение качества исследований — будь то внутри университетов или в рамках государственных стратегий.
Подчёркивается также значение открытой науки и методологической строгости для устранения подобных проблем в будущем. Воспроизводимость научных результатов является фундаментом научного метода и основой для доверия не только внутри научного сообщества, но и между наукой и обществом. Когда эти основы подрываются, возникают серьёзные риски для прогресса в медицине, фармакологии и других жизненно важных направлениях биомедицинских исследований. Кризис воспроизводимости в биомедицине, выявленный в этой и других инициативах, уже получил отражение в мировой науке. Коллективы в разных странах ищут пути решения проблемы, например, введение стандартов для описания методов, улучшение статистического анализа и активное продвижение принципов прозрачности и открытости.
Однако специфика бразильских исследований, выявленная в проекте, показывает дополнительные сложности, связанные с инфраструктурой, финансированием и организацией научной работы в развивающейся стране. Важным аспектом является и преодоление культурных барьеров, когда традиционные подходы к публикациям и конкуренция в науке иногда подталкивают к приукрашиванию результатов ради повышения цитируемости и успеха работы. Опыт масштабного бразильского проекта может служить примером другим странам, желающим объективно оценить состояние своей научной экосистемы и наладить механизмы контроля и повышения качества научных данных. Он также подчёркивает необходимость международного сотрудничества, ведь методы и выводы одного исследования требуют проверки вне зависимости от географических границ. В итоге, провал воспроизводимости десятков биомедицинских исследований заставляет поставить под вопрос общепринятые научные выводы и стимулирует к развитию новых подходов, совершенствованию исследовательских протоколов и внедрению современных стандартов в научной практике.
Только таким образом можно будет вернуть доверие к науке и обеспечить её устойчивое развитие, а главное — объективно и эффективно служить интересам здоровья и благополучия общества в целом.
