В современной науке одна из ключевых целей — уверенность в достоверности и воспроизводимости полученных данных. Однако недавно завершённый крупномасштабный проект в Бразилии продемонстрировал, что более половины биомедицинских исследований не выдерживают проверки на воспроизводимость, ставя под вопрос надёжность выводов множества научных публикаций. Этот проект — знаковое событие, которое привлекает внимание не только бразильского научного сообщества, но и мировой науки к проблеме, известной как «кризис воспроизводимости». Проект, инициированный Бразильской инициативой по воспроизводимости, объединил более 200 учёных из 56 лабораторий по всей стране. Его цель заключалась в проверке реальных данных и результатов уже опубликованных исследований с использованием одних из самых распространённых методик в биомедицинских науках.
Команда не ограничивалась одной узкой областью, а ориентировалась на методы, что отличает эту работу от подобных попыток в других странах. В рамках исследования были выбраны три наиболее характерных метода: тесты, связанные с метаболизмом клеток, методы амплификации генетического материала — полимеразная цепная реакция (ПЦР) — и проверка поведения грызунов в лабиринте. Выбранные статьи охватывали период с 1998 по 2017 год и были написаны учёными с бразильскими аффилиациями. Эти три методики широко используются в биомедицинских лабораториях, что позволяло крупному количеству лабораторий принять участие в воспроизведении экспериментов. Каждую экспериментальную попытку пересматривали и воспроизводили сразу в трёх независимых лабораториях, после чего специальная независимая комиссия оценивала результаты и принимала решение о качестве репликации.
В итоге было проведено 97 воспроизводимых попыток, охватывающих 47 оригинальных экспериментов. Результаты исследования оказались весьма неожиданными и тревожными — воспроизвести удалось лишь около 21 процента исследований, если учитывать критерии воспроизводимости по статистическим признакам и направлению результатов. Стоит отметить, что эксперименты оригинальных публикаций показывали эффект на 60% выше, чем в воспроизводимых попытках лабораторий. Это свидетельствует о существенном завышении масштабов результата при первичных публикациях. Такое расхождение между первоначальными и повторными результатами выдаёт систематическую переоценку эффектов, что характерно для многих исследований в биомедицине.
Именно это вызывает сомнения в надёжности многих научных заявлений и ставит под угрозу построение на их основе последующих научных разработок. Проблемы воспроизводимости далеко не новы для научного мира. В последние годы тема становится все более актуальной — множество крупных проектов в разных странах стремятся понять, насколько данные современных исследований можно считать надёжными и применяемыми на практике. Бразильский проект выделяется тем, что он акцентирует внимание не на отдельных областях науки или известных публикациях, а на методах, что открывает более широкую картину состояния биомедицинских лабораторий в стране. Важной частью трудностей, с которыми столкнулись исследователи, была пандемия COVID-19, усложнившая коммуникации между лабораториями и организацию совместных экспериментов.
Кроме того, не все лаборатории одинаково строго следовали протоколам оригинальных исследований, что усложняло интерпретацию результатов и создаёт дополнительные вызовы для проектов воспроизводимости в целом. Специалисты, ведущие проект, уверены, что полученные данные станут мощным стимулом для реформирования научной системы в Бразилии. Необходимы изменения как в образовательной сфере, где учёные должны получать лучшие навыки по проведению и оформлению исследований, так и на государственном уровне — включая пересмотр политик по финансированию науки и внедрение стандартов по обеспечению качества научных публикаций. Одной из ключевых рекомендаций является повышение прозрачности и доступности данных, а также введение обязательных требований по preregistration — предварительной регистрации эксперимента — и открытости методик для того, чтобы другие учёные могли без затруднений воспроизводить эксперименты. Такой подход улучшит качество научных сведений и укрепит доверие к результатам исследований.
Кроме того, результат работы бразильских учёных может служить примером для других стран, особенно тех, у которых тоже нет массовых проверок воспроизводимости. Широкое распространение результатов и изучение проблем воспроизводимости позволит научной среде всего мира двигаться к повышению качества и надёжности исследований. Отметим, что подобные исследования не только выявляют масштаб проблем, но и стимулируют обсуждение этических аспектов науки, включая вопросы честности, давления на учёных публиковать только положительные результаты и возможного искажения данных ради карьерного роста и грантов. Выработка новых этических стандартов и создание системы поддержки исследований с отрицательными или нейтральными результатами также считаются важной частью пути к исправлению ситуации. Таким образом, бразильский проект по воспроизводимости биомедицинских исследований не просто подтверждает существование кризиса достоверности, но и предлагает практические пути его решения.
