В последние годы проблема воспроизводимости научных исследований становится все более актуальной. В биомедицинской сфере, где от результатов экспериментов напрямую зависит развитие лекарств и методов лечения, надежность данных является критически важной. Недавний масштабный проект в Бразилии, направленный на перепроверку биомедицинских исследований, выявил тревожные факты: менее половины повторных экспериментов смогли подтвердить исходные выводы. Этот проект является уникальным по своему масштабу и подходу, охватывая различные лаборатории и методы, и его результаты вызывают широкое обсуждение в научном сообществе по всему миру. Экспериментальная воспроизводимость — основа научного метода.
Возможность повторить эксперимент и получить те же результаты свидетельствует о достоверности и устойчивости научных выводов. Однако в последние годы различные мультицентровые исследования показали, что в ряде дисциплин репликация экспериментов часто невозможна или даёт результаты, противоречащие исходным публикациям. В биомедицине это особенно опасно, так как ошибки могут привести к затрате огромных средств, времени и ресурсов на разработку неэффективных или даже вредных препаратов. Бразильский проект, инициированный в 2019 году исследователями Федерального университета Рио-де-Жанейро (UFRJ), привлек внимание исследователей всего мира. В нем приняли участие более 200 ученых из 56 лабораторий, которые решили сделать акцент не на конкретной научной области, а на трех наиболее популярных методах биомедицинских исследований, применяемых в стране.
Такой подход позволил получить репрезентативную картину состояния научной надёжности в биомедицине Бразилии, не ограничиваясь избранными и часто цитируемыми статьями. Проект проходил в непростых условиях, во многом осложненных пандемией COVID-19. При этом координация множества лабораторий с разной подготовкой, оборудованием и техникой работы требовала внимания к деталям и согласованности действий. Один из руководителей проекта охарактеризовал задачу как попытку превратить множество гаражных групп с хаотичным стилем исполнения в слаженный оркестр. Сложности возникали и с соблюдением изначальных протоколов, что также влияло на качество и точность воспроизведённых результатов.
Выбор методов и статей для повторного тестирования был тщательно продуман. После анализа большой выборки публикаций, исследователи остановились на трех ключевых методах: тесты метаболизма клеток, ПЦР (полимеразная цепная реакция) для амплификации генетического материала и особенности поведенческих тестов на грызунах, например, лабиринтные задачи. Были отобраны статьи, опубликованные с 1998 по 2017 год, в которых как минимум половина авторов имела бразильскую принадлежность. Из первоначально выбранных 60 публикаций в ходе работы были проверены и признаны валидными для воспроизведения 47 экспериментов. Каждый из них повторялся тремя разными командами.
Итоговая оценка надежности базировалась на пяти критериях, включая статистическую значимость и направление эффекта. Результаты оказались разочаровывающими: включая все критерии, только около 21% экспериментов были воспроизводимы по основным параметрам. Особое внимание уделялось сравнению эффектов, выявленных в изначальных исследованиях, и тех, что получили повторные команды. В среднем размер эффекта в опубликованных работах оказался почти на 60% большим, чем в повторных экспериментах. Это указывает на систематическое переоценивание влияния изучаемых факторов и подтверждает опасения относительно избыточного оптимизма, присутствующего в научных публикациях.
Подобные случаи влияют не только на внутреннее развитие научной базы, но и осложняют принятие решений на уровне государственной политики и распределение финансовых средств. В свете полученных данных авторы проекта призывают к реформам, направленным на массовое повышение стандартов научных практик, внедрение открытых протоколов, улучшение методической подготовки исследователей и создание системы независимой проверки данных. Перемены уже обсуждаются в разных научных кругах Бразилии. Сильнее внимание уделяется обучению студентов и молодых ученых принципам репликации и статистической здоровости анализа. Активнее распространяются идеи открытой науки, призывающей к прозрачности и доступности данных для всесторонней оценки со стороны сообщества.
Опыт бразильской инициативы имеет важное международное значение. Ранее похожие проекты в США и Европе также выявляли проблемы с воспроизводимостью, однако подход бразильских исследователей ориентирован на широкий спектр методов, а не только на топовые или наиболее цитируемые статьи. Такой метод позволяет заглянуть глубже в структуру научных публикаций и понять, насколько повсеместна проблема. Вызов, поставленный воспроизводимостью биомедицинских данных, не уникален для Бразилии. Он отражает глобальную тенденцию и требует коллективных усилий научного сообщества.
Только непрерывное совершенствование протоколов, ответственное отношение к публикациям и развитие метанаук помогут снизить уровень недостоверности и укрепить доверие к научным результатам. В конечном итоге, исследование стало не только сигналом тревоги, но и стартовой площадкой для преобразований. Благодаря ему появляется четкое понимание, где необходимо сосредоточить усилия. Наука, будучи фундаментом прогресса, должна постоянно самосовершенствоваться, а проекты подобного масштаба — ключ к открытию новых горизонтов надежности и качества исследований.
