Проблема воспроизводимости научных исследований долгое время вызывает обеспокоенность в академическом сообществе и за его пределами. В биомедицине, где результат исследований напрямую влияет на разработку лекарств, методы лечения и клинические рекомендации, точность и надёжность опубликованных данных особенно важны. Недавний масштабный проект в Бразилии, направленный на воспроизведение результатов ранее опубликованных биомедицинских исследований, выявил тревожные тенденции, которые могут стать катализатором для реформ и повышения качества научной работы в стране. Инициатива бразильских учёных, стартовавшая в 2019 году под названием Brazilian Reproducibility Initiative, объединила усилия более 200 исследователей из 56 лабораторий по всей стране. Цель заключалась в том, чтобы проверить повторяемость выводов из определённого набора публикаций, опирающихся на три наиболее распространённых в Бразилии методики биомедицинских исследований — анализ клеточного метаболизма, амплификацию генетического материала и поведенческие тесты с использованием лабиринтов для грызунов.
Выбор этих методов дал возможность задействовать широкий круг лабораторий, которые могли воспроизвести необходимые эксперименты с доступными ресурсами. Помимо этого, проект отличался тем, что не ограничивался определённой научной областью или значимостью статьи, а сосредоточился именно на методологии. Такой подход позволил получить объективную картину качества воспроизводимости самых популярных экспериментальных техник, используемых в бразильской биомедицине. Процедура проекта была внушительной — каждая из 60 отобранных статей подвергалась повторному экспериментальному тестированию как минимум в трёх различных лабораториях. После проведения валидных экспериментов независимая комиссия оценивала, насколько криетерии воспроизводимости были выполнены.
Среди критериев учитывались статистическая значимость результатов, направление эффекта и размер наблюдаемых в исходных исследованиях эффектов по сравнению с воспроизводящими тестами. Результаты проекта оказались серьёзным предупреждением для научного сообщества. Всего лишь около 21% из множества проверенных экспериментов соответствовали хотя бы половине заданных критериев воспроизводимости. Помимо этого, учёные заметили значительное расхождение в величине эффектов — первоначально опубликованные исследования зачастую преувеличивали размер эффекта примерно на 60% по сравнению с повторными измерениями. Эти цифры, пусть и соответствующие результатам аналогичных инициатив в других странах, говорят о глубоко укоренившихся проблемах, связанных с методологией, публикационной практикой и, возможно, исследовательской этикой.
Научные работы с завышенными эффектами могут вести к неправильным интерпретациям, неэффективным или даже вредным клиническим решениям, а также к излишнему расходу ресурсов на дальнейшие исследования, основанные на ненадёжных данных. Среди вызовов, с которыми столкнулись участники проекта, стоит отметить сложность организации такого масштабного сотрудничества в условиях пандемии COVID-19, когда лаборатории испытывали ограничения и перебои в поставках. Кроме того, исследовательские группы неоднозначно интерпретировали детали оригинальных протоколов, что отражает недостаточную стандартизацию экспериментов в биомедицинской сфере. Парадоксально, но результатом стала ситуация, которую координатор проекта сравнил с необходимостью собрать оркестр из множества гаражных групп с несовпадающими стилями игры. Несмотря на трудности, проект ёмко обозначил «узкие места» в научной системе — начиная от оформления протоколов экспериментов и заканчивая практиками публикации результатов и критериями оценки научной значимости.
Авторы подчеркивают, что полученные данные — это цветущая площадка для проведения реформ как на уровне университетов, так и на уровне государственной политики в сфере науки. Одна из наиболее значимых проблем, выявленных в рамках инициативы, связана с ростом практик так называемого «p-hacking» и публикационной предвзятостью, когда исследователи могут непреднамеренно или намеренно манипулировать данными с целью достижения статистической значимости. В ситуации, когда публикационные давления становятся доминирующим фактором, качество и воспроизводимость исследований оказываются под угрозой. Это порождает необходимость более широкого внедрения принципов открытой науки и прозрачности: публикация полных протоколов, доступ к сырым данным, совместное использование методик и расширение тренингов по статистической грамотности для исследователей. Кроме того, важно усилить поощрение репликационных исследований, поскольку они служат фундаментом для доверия к научным открытиям.
Уникальность бразильского опыта заключается также в фокусе на национальный научный ландшафт, что позволяет адаптировать рекомендации и реформы с учётом местных условий и ограничений. В стране, где финансирование науки сравнительно скромное, рациональное распределение ресурсов и повышение качества исследований — важнейший приоритет. В долгосрочной перспективе проект способствует формированию культуры научной честности и самокритики. Только систематический мониторинг воспроизводимости и корректировка практик позволят избежать потери доверия общества к науке и сохранить её роль в улучшении здравоохранения и благополучия населения. Заключая, можно сказать, что успех подобных инициатив — залог устойчивого развития науки.
Опыт Brazilian Reproducibility Initiative демонстрирует, насколько важны координация усилий, стандартизация методик и открытый обмен знаниями. Для укрепления научного сообщества в Бразилии и других странах необходимы не только технологические, но и институциональные реформы, которые сделают исследования более надежными и значимыми в глобальном масштабе.
