В современной науке воспроизводимость результатов исследований является краеугольным камнем достоверности и прогресса. Только когда эксперименты можно повторить с аналогичными результатами, можно говорить о надежности научных данных. Однако недавно завершенный уникальный проект воспроизводимости, проведенный в Бразилии, обнаружил тревожную закономерность — более половины биомедицинских исследований не удалось воспроизвести. Эта ситуация как нельзя лучше иллюстрирует проблему, которая давно тревожит научное сообщество по всему миру. Инициатива под названием Brazilian Reproducibility Initiative была организована группой ученых из Федерального университета Рио-де-Жанейро и привлекла более 200 исследователей из 56 лабораторий.
Особенность этого проекта заключается в фокусе на методах исследований, а не на конкретных научных областях или значимости статей, что позволило получить более объективную картину. В рамках проекта были выбраны три наиболее распространенных метода в бразильских биомедицинских статьях: тесты оценки клеточного метаболизма, метод амплификации генетического материала и поведенческий тест для грызунов. Для анализа были отобраны статьи, опубликованные в период с 1998 по 2017 годы, в которых не менее половины авторов имели бразильскую аффилиацию. Каждое исследование пришлось воспроизвести в трех различных лабораториях, что обеспечивало проверку надежности результатов при различных условиях и исполнителях. В итоге команда сумела провести 97 валидных попыток воспроизведения 47 экспериментов.
Результаты испытаний оказались гораздо менее обнадеживающими, чем ожидалось. Авторы проекта использовали комплексный подход к оценке воспроизводимости, учитывая пять критериев, включая статистическую значимость результатов и направление эффекта. По этим параметрам только около 21% исследований удалось воспроизвести, что существенно ниже оптимистичных прогнозов. Более того, средний эффект в оригинальных статьях был на 60% больше, чем в повторных экспериментах, что говорит о систематическом завышении эффектов в опубликованных работах. Почему так происходит? Многие ученые и эксперты связывают низкую воспроизводимость с рядом факторов.
Во-первых, это проблемы с методологией: от нечеткого описания протоколов до выбора неподходящих статистических методов. Во-вторых, существует влияние публикационного давления — исследователи чаще публикуют значимые и положительные результаты, что создает искаженное представление об эффективности изучаемых вмешательств и процессов. Также недостаток финансирования и времени часто заставляет ученых сокращать этапы проверки и репликации своих данных. Проект в Бразилии стал свежим напоминанием необходимости системных изменений в научной практике. Результаты показали важность открытых данных, прозрачности и доступности протоколов для последующих проверок.
Также было отмечено, что национальные научные политики и университетские структуры должны активно поддерживать репликационные исследования, которые часто остаются в тени из-за отсутствия интереса со стороны журналов и грантодателей. В научном сообществе обсуждаются различные стратегии повышения воспроизводимости. Среди них — обязательные публикации негативных и нейтральных результатов, внедрение стандартизированных методик и протоколов, повышение качества обучения исследователей в области статистики и экспериментальной методологии. Более того, растет популярность мультицентровых проектов, аналогичных бразильской инициативе, где воспроизведение происходит одновременно в разных учреждениях, что минимизирует локальные ошибки и субъективизм. Пандемия COVID-19, возникшая во время реализации проекта, продемонстрировала как важность, так и сложности международного сотрудничества и репликационных исследований.
Логистические ограничения и необходимость дистанционной работы усложнили проведение экспериментов, но также стимулировали развитие цифровых инструментов и обмена данными, что может повысить эффективность подобных инициатив в будущем. В конечном счете проект воспроизводимости в Бразилии стал знаковым событием, обнажившим фундаментальные проблемы в биомедицинских науках не только страны, но и всего мира. Он призывает ученых, учреждения и государственные органы объединить усилия для внедрения системных мер, направленных на укрепление доверия к научным открытиям. Только благодаря таким усилиям можно обеспечить, что научные данные действительно отражают реальность и служат основой для дальнейших исследований и практических применений в медицине. Высокий уровень недостоверности биомедицинских исследований — сигнал насторожиться и пересмотреть существующие подходы.
От этого зависит не только развитие науки, но и здоровье миллионов людей, которые полагаются на эффективность медицинских вмешательств, основанных на результатах лабораторных экспериментов. Настоящая задача состоит в том, чтобы сделать науку более открытой, честной и устойчивой, а проекты воспроизводимости — важным рычагом для достижения этих целей.
