В современном научном мире воспроизводимость экспериментов является одним из ключевых критериев достоверности и надежности получаемых данных. Однако недавний масштабный проект, проводимый в Бразилии, выявил серьезные проблемы в этой области в сфере биомедицинских исследований. Коалиция из более чем 50 научных групп в рамках инициативы по воспроизводимости бразильских биомедицинских исследований попыталась повторить результаты более чем полусотни опубликованных экспериментов, и результаты оказались далеко не вдохновляющими. Инициатива, запущенная в 2019 году Федеральным университетом Рио-де-Жанейро (UFRJ), представляла собой уникальную попытку сфокусироваться не на отдельном лабораторном направлении или научной дисциплине, а на трех самых широко используемых методах в бразильских биомедицинских статьях. Это позволило охватить широкий спектр исследований и сделать оценку воспроизводимости более объективной.
В проекте участвовало 213 ученых из 56 лабораторий по всей стране, что гарантировало высокую коллаборацию и скоординированную работу на протяжении нескольких лет. В своей работе они изучили публикации с 1998 по 2017 год, выбирая статьи, в которых как минимум половина авторов имела бразильскую аффилиацию. Среди выбранных методик - оценка клеточного метаболизма, амплификация генетического материала и тесты с использованием лабиринтов для грызунов, что типично для биомедицинских экспериментов. Исследователи стремились проверить не только техническую воспроизводимость, то есть способность воссоздать методику и условия эксперимента, но и статистическую значимость данных. Каждый эксперимент повторялся в трех разных лабораториях, чтобы минимизировать возможность ошибки или предвзятости.
Результаты тщательно анализировала независимая комиссия, тщательно оценивая каждый этап повторного исследования. Проблема оказалась глубже, чем предполагалось. Лишь около 21% из всех проверенных экспериментов соответствовали хотя бы половине критериев воспроизводимости. При этом, результаты оригинальных исследований часто отличались по масштабу воздействия изучаемых методов, в среднем завышая эффекты на 60%. Это подтверждает давно существующее предположение о переоценке эффектов в опубликованных статьях.
Подобные результаты далеко не уникальны для Бразилии. Многочисленные международные инициативы на протяжении десятилетий показывали, что проблемы с воспроизводимостью – это кризис науки в целом. Но новое исследование имеет особое значение тем, что оно сфокусировано на систематической ревизии целой страны и конкретных методик, а не отдельных «громких» исследований или направлений науки. Одной из трудностей проекта стал разрыв в подходах лабораторий к повторению экспериментов: каждый научный коллектив использовал собственные стандарты и интерпретации рабочих протоколов. Этот «оркестр из гаражных групп», как выразился один из руководителей инициативы Олаво Бореа Амарал, усложнил процесс стандартизации.
Важно отметить, что проект проходил в условиях пандемии COVID-19, которая принесла дополнительные логистические и организационные проблемы. Тем не менее, исследователи рассчитывают, что эти результаты послужат толчком для реформ в научной среде Бразилии. Уже сегодня эксперты призывают к тщательному пересмотру критериев публикации, усилению контроля и стандартизации методик, а также к активному развитию практике открытой науки. Многие ученые сходятся во мнении, что без изменений в подходах к научной работе и оценке данных добиться прогресса будет сложно. Кроме того, результаты работы важны для практического применения биомедицины в Бразилии и за рубежом.
Научные открытия, сделанные на основе недостоверных данных, могут привести к дорогостоящим и неэффективным клиническим испытаниям, тормозить внедрение инновационных медицинских технологий и подрывать доверие общества к научным исследованиям. Сегодня открытость данных, высокий стандарт отчетности и наличие прозрачных протоколов считаются обязательными условиями для качественной науки. Научные учреждения Бразилии и мировое сообщество отслеживают развитие проекта и надеются, что его результаты станут примером для других стран и научных направлений. Неспособность воспроизвести результаты ставит под сомнение многие предшествующие выводы и заставляет переосмыслить стратегию развития биомедицинской науки. Это также поднимает вопросы об образовании и подготовке новых кадров, внедрении новых технологий и создании инфраструктуры, способствующей более точному и надежному получению результатов.
Таким образом, масштабная инициатива в Бразилии стала важным сигналом для мировой научной общественности. Путь к надежным и воспроизводимым знаниям требует комплексного подхода как от отдельных исследователей, так и от институтов, фондов и политиков. Только объединение усилий и открытый диалог помогут преодолеть современный кризис воспроизводимости и обеспечить устойчивое развитие науки. В конечном итоге результаты бразильского проекта отражают более широкие проблемы науки XXI века, связанные с требованиями к скорости публикаций, конкуренцией за финансирование и поиском значения исследований. Они служат напоминанием о том, что качество и надежность должны оставаться в приоритете над количеством или громкими заголовками.
Опыт этой инициативы направлен на создание более здоровой научной экосистемы, где воспроизводимость и прозрачность станут фундаментальными ценностями.
