В последние годы проблема воспроизводимости научных исследований становится предметом всё большего внимания мирового научного сообщества. Недавний масштабный проект, организованный в Бразилии под руководством инициативы по воспроизводимости (Brazilian Reproducibility Initiative), привлек более 200 учёных из более чем 50 лабораторий для проверки результатов биомедицинских исследований, опубликованных с 1998 по 2017 год. Итоги этого амбициозного эксперимента показали, что менее половины проверенных экспериментов удалось воспроизвести, что повторяет тенденцию, ранее наблюдавшуюся и в других странах. Эти результаты вновь поднимают вопросы о качестве и надёжности современных биомедицинских исследований, а также призывают к необходимости внедрения реформ в научной практике и государственной политике. Проект имел уникальный подход.
Вместо того чтобы сосредоточиться на одной научной области или на самых цитируемых публикациях, команда бразильских учёных выбрала стратегию, основанную на проверке трёх широко распространённых в биомедицине методов. Это включало анализ метаболизма клеток, амплификацию генетического материала (например, метод ПЦР) и использование лабиринтов для оценки поведения грызунов. Исследователи случайным образом отобрали статьи, в которых эти методы были основой эксперимента, при этом не менее половины авторов публикаций должны были быть аффилированы с бразильскими институтами. Такой подход позволил получить репрезентативную выборку, которая отражает реальную научную деятельность в биомедицинской сфере страны. Для воспроизведения каждого выбранного эксперимента было задействовано сразу три независимые лаборатории, что демонстрирует высокий уровень сотрудничества и стремление к достоверности результатов.
Результаты всех попыток проверялись независимым комитетом, который оценивал достоверность репликаций по пяти критериям, включая статистическую значимость и направление эффекта. Несмотря на колоссальные усилия и участия множества специалистов, только около 21% экспериментов прошли проверку хотя бы по половине критериев, что указывает на серьёзные проблемы в воспроизводимости опубликованных данных. Ещё одним важным находкой стала разница в размере эффектов между оригинальными публикациями и их воспроизведениями. Оригинальные статьи, как правило, сообщали об эффектах на 60% сильнее, чем те, которые были подтверждены в ходе повторных экспериментов. Это указывает на тенденцию преувеличения результатов в опубликованных работах, что может быть связано с рядом факторов — от публикационного смещения и недостаточно строгого дизайна экспериментов до возможных ошибок в анализе данных или даже непреднамеренных искажений.
Организаторы проекта подчёркивают, что выявленные проблемы не уникальны для Бразилии и встречаются практически во всех странах мира, где проводятся биомедицинские исследования. Однако национальный масштаб и системность подхода к изучению репликабельности позволяют сделать важные выводы для формирования будущей научной политики страны. По мнению координатора проекта Марианы Боечат де Абреу, теперь у бразильских исследователей есть уникальный набор данных и опыта для того, чтобы начать процесс реформирования как внутри университетов и научных организаций, так и на уровне государственных структур, отвечающих за финансирование и контроль науки. Текущая пандемия COVID-19 оказала значительное влияние на ход проекта — она создала логистические трудности и заставила учёных оперативно решать вопросы координации, что, впрочем, не помешало проведению масштабных экспериментов. Координатор Олáво Борхер Амарал сравнивает этот процесс с объединением множества «гаражных групп» с разным стилем и подходами в единую оркестровую систему.
Такое метафорическое описание хорошо иллюстрирует сложность и новизну коллективного воспроизводства научных результатов на таком большом и разветвлённом уровне. Проблема воспроизводимости давно считается одной из ключевых в современной науке. Исследования, качественно не поддающиеся проверке и повторению, ограничивают прогресс и препятствуют развитию надёжных доказательных основ для медицины и других отраслей. Кроме того, подобные проблемы оказывают негативное воздействие на репутацию науки, подрывают доверие общества и усложняют процессы принятия решений в здравоохранении и наукоёмкой промышленности. В контексте биомедицинских наук особенно важна точность и воспроизводимость, ведь на основе таких данных разрабатываются медицинские методы диагностики, лечения и профилактики заболеваний.
Невоспроизводимые результаты могут привести к неэффективным или даже опасным терапиям, а также к излишней трате ресурсов на проверку ошибочных гипотез. Ситуация, подобная той, что выявила бразильская инициатива, побуждает научное сообщество не только анализировать причины провалов репликации, но и применять знания для улучшения исследовательских практик. Это включает развитие открытой науки, где протоколы, данные и аналитические коды доступны большинству, что способствует прозрачности и возможности независимого контроля. Также важны усилия по стандартизации методов, улучшению статистической грамотности исследователей и более строгой экспертизы научных публикаций. Международные инициативы, подобные Бразильской, способствуют формированию глобального диалога по вопросам качества науки.
Они демонстрируют потенциал коллаборативной работы для выявления слабых мест и поиска решений, которые могли бы стать основой для общественных и институциональных реформ. Практически все ведущие научные страны уже нацелены на поддержку подобных проектов, которые не только выявляют проблемы, но и формируют инструменты их решения. Перспективы дальнейших исследований в данной сфере направлены также на изучение влияния факторов, таких как финансирование, давление конкуренции за гранты, а также политика журналов и научных институтов на уровень воспроизводимости. Понимание этих аспектов поможет выработать комплексные рекомендации для улучшения качества исследований на системном уровне. Выводы из бразильского проекта могут стать важным ориентиром и для других стран с развивающейся научной инфраструктурой, особенно в мире, где глобализация науки становится всё более комплексной и взаимосвязанной.
Тщательная проверка и повышение надёжности данных позволят укрепить позиции науки как основного источника новых знаний и инноваций, а также повысить доверие общества к результатам научных работ. Таким образом, крупное исследование в Бразилии не только выявило масштабные проблемы воспроизводимости в биомедицинских исследованиях, но и открывает путь к важным преобразованиям научной практики и политики. В конечном счёте, подобные усилия способствуют построению более прозрачного, надёжного и эффективного научного сообщества, способного отвечать на вызовы современности и создавать базу для устойчивого развития здравоохранения и науки в целом.
