В современном мире биомедицинские исследования играют ключевую роль в развитии медицины, поиске новых лекарств и понимании механизмов заболеваний. От результатов таких исследований напрямую зависит будущее здравоохранения и эффективность лечения миллионов пациентов. Однако проблема воспроизводимости научных данных становится все более актуальной и вызывает серьезные опасения в научном сообществе. Недавний масштабный проект в Бразилии предпринял попытку проверить достоверность опубликованных биомедицинских исследований, результаты которой оказались далеко не обнадеживающими. Бразильская инициатива по воспроизводимости была запущена в 2019 году группой ученых Федерального университета Рио-де-Жанейро.
В отличие от предыдущих попыток, фокусированных на отдельных областях науки или самых цитируемых статьях, этот проект решил проверить работы, опирающиеся на три наиболее распространенные методики в биомедицинских исследованиях и выполненные банально в бразильских лабораториях. Целью было не просто выявить, какие исследования не выдерживают проверки, а понять более глубинные системные проблемы в научной практике страны, которая активно развивается в этой области. Под руководством опытных исследователей к работе привлекли более 200 ученых из 56 лабораторий по всей Бразилии. Такой масштаб позволил охватить большой спектр результатов, опубликованных за два десятилетия, с 1998 по 2017 годы. Главным критерием отбора стали три популярные в биомедицине методики: анализ метаболизма клеток, амплификация генетического материала и лабиринтовые тесты с грызунами, оценивающие когнитивные функции.
Именно на базе этих методов построена большая часть исследований, что позволило сфокусироваться на качестве воспроизводимости самого эксперимента, а не на узконаправленных научных вопросах. Участники проекта выбрали случайную выборку из 60 статей, при этом каждая попытка воспроизвести эксперимент проводилась минимум в трех независимых лабораториях. Для оценки успешности репликации применялись пять разных критериев, главными из которых были статистическая значимость полученных результатов и совпадение направления эффектов с оригинальными исследованиями. В итоге лишь около четверти экспериментов соответствовали как минимум половине этих критериев, что свидетельствует о серьезных проблемах с воспроизводимостью данных. Интересно, что при воспроизведении экспериментов наблюдались не только различия в результатах, но и довольно значительное уменьшение силы эффектов: оригинальные исследования показывали эффект, примерно на 60% больше, чем те, что удалось получить в повторах.
Это косвенно указывает на высокую вероятность преувеличения важности или силы наблюдаемых явлений при публикации первичных данных. Несмотря на удар по научной репутации, инициаторы проекта видят в результатах огромный потенциал для положительных изменений. Наличие достоверных данных помогает выявить системные проблемы, влияющие на качество исследований, например, недостатки в дизайне эксперимента, использование неподходящих статистических методов, давление на ученых публиковать сенсационные результаты, а также нехватку ресурсов и инфраструктуры для должного проведения научной работы. Эта ситуация не уникальна для Бразилии: проблемы с воспроизводимостью встречаются и в других странах, что неоднократно показывали международные репликационные проекты. Тем не менее, именно фокус бразильской инициативы на методологических аспектах, а не на тематиках и цитируемости, дает новый взгляд на причину кризиса доверия к научным результатам.
Сложности в проведении проекта во время пандемии COVID-19 добавили экспериментальным командам дополнительные препятствия — от логистики до согласованности протоколов между разными лабораториями. Сопоставление различных подходов оказалось непростой задачей, о чем свидетельствует метафора одного из coordinators проекта об организации из десятков гаражных групп воедино, чтобы сыграть слаженный симфонический оркестр. Неудача в повторении экспериментов поднимает вопрос о необходимости реформирования научной системы страны. Согласно научным лидерам проекта, стало ясно, что нужна комплексная работа на всех уровнях — от развития образовательных программ и улучшения инфраструктуры научной работы до совершенствования стандартов публикаций и оценки эффективности науки. Особенно важным является продвижение принципов открытой науки, которые предполагают публичное предоставление методов, данных и результатов исследований для независимой проверки и повторной оценки.
Также проект подчеркивает важность внимательного подхода к статистике. Как показывает практика, неумелое или некорректное применение статистических методов может привести к ложным позитивным результатам и искажению выводов, что в конечном итоге влияет на надёжность публикаций. Результаты инициативы в Бразилии могут стать движущей силой для аналогичных программ в других странах с активным научным сообществом и решить давно назревшую проблему кризиса доверия в науке. Они призывают к более ответственному и прозрачному подходу к проведению экспериментов и публикации результатов. В долгосрочной перспективе это будет способствовать не только развитию науки, но и укреплению общественного доверия к биомедицинским исследованиям и их результатам.
В целом, бразильский репликационный проект демонстрирует актуальность вопроса воспроизводимости и качество научной работы в биомедицине. Результаты свидетельствуют о необходимости пересмотра традиционных подходов к проведению, оценке и публикации исследований, а также фактором мотивации для инвестиций в науку и образование с акцентом на методологическую строгость и прозрачность. В быстро меняющемся мире, в котором точные и достоверные данные имеют первостепенное значение, воспроизводимость становится не просто научной проблемой, а фундаментальным условием для прогресса и инноваций. Подытоживая, можно сказать, что воспроизводимость — это не только «технический» вопрос, но и элемент научной этики, прозрачности и ответственности, от которых зависит успех научного сообщества в целом. Инновации, лечение, новые открытия — все это опирается на качество и достоверность научного знания, что непосредственно влияет на здоровье людей и благополучие общества.
Именно поэтому подобные проекты и последующие преобразования заслуживают самого серьезного внимания и поддержки со стороны исследователей, государственных органов и общества в целом.
