В последние годы проблема воспроизводимости научных исследований серьёзно волнует мировое научное сообщество. Недостаточная воспроизводимость результатов ставит под сомнение надёжность многих фундаментальных открытий и подрывает доверие к науке в целом. В рамках этой глобальной дискуссии недавно был опубликован уникальный репликационный проект, инициированный учёными Бразилии. Более 50 научных групп объединились для масштабной попытки проверить достоверность результатов биомедицинских исследований, проведённых в стране за последние десятилетия. Итоги оказались неожиданно тревожными и вновь подтвердили опасения по поводу качества публикаций в биомедицине.
Проект был запущен в 2019 году под эгидой Бразильской инициативы по воспроизводимости, координируемой Федеральным университетом Рио-де-Жанейро. В отличие от некоторых предыдущих попыток оценить воспроизводимость, команда сосредоточилась не на одной конкретной области науки, а на определённых широко применяемых методах исследований в биомедицине. Такое решение позволило выявить проблему с методологической стороны и учесть специфику национального научного поля. В работе приняли участие 213 специалистов из 56 лабораторий по всей Бразилии, что подчёркивает масштаб и важность инициативы.В ходе подготовки эксперимента была проведена тщательная работа по отбору методов.
Учёные проанализировали широкий массив научных статей, чтобы выделить три наиболее распространённых метода, используемых в бразильских биомедицинских исследованиях. В итоге выбор пал на исследование клеточного метаболизма, амплификацию генетического материала и поведенческий тест с лабиринтами для грызунов. Именно на этих методах были основаны 60 научных работ, опубликованных с 1998 по 2017 год, подвергнутые репликации. Особое внимание уделялось тем экспериментам, в которых хотя бы половина авторов имела аффилиацию с бразильскими университетами или научными центрами.Репликация каждого эксперимента проводилась параллельно в трёх независимых лабораториях, что позволяло оценить устойчивость результатов при повторении.
При этом возникали типичные сложности, связанные с адаптацией протоколов и стандартизацией условий, особенно во время пандемии COVID-19, которая затрудняла доступ к оборудованию и материалам. Несмотря на эти вызовы, команда разработала процедуру, согласно которой специальный независимый комитет оценивал, считался ли результат репликации достоверным.Результаты оказались неутешительными. Репликация подтвердила лишь около 21% экспериментов, то есть воспроизвести удалось менее четверти тестируемых научных данных при применении хотя бы половины критериев оценки. Более того, измеряемый эффект в оригинальных исследованиях был, как правило, значительно преувеличен — в среднем на 60%, что указывает на систематическую переоценку воздействия исследуемых вмешательств и препаратов.
Такая тенденция негативно отражается на дальнейшем развитии наук, ведь базовые исследования служат фундаментом для клинических испытаний и медико-биологических инноваций.Уход от идеалистических предположений и объективный анализ репликационных данных – важный шаг в борьбе с кризисом воспроизводимости, который затрагивает не только бразильскую науку, но и мировое научное сообщество. Публикация результатов стала своего рода сигналом для государственных органов, исследовательских институтов и университетов страны о необходимости реформирования научного процесса. Среди возможных мер рассматривается внедрение стандартов прозрачности данных, обязательное опубликование протоколов и статистических выкладок, а также повышение квалификации научных кадров в области методологии и статистики.Эта масштабная инициатива также подчёркивает важность открытой науки и сотрудничества.
Коллективный характер проекта и участие десятков лабораторий позволили избежать односторонних ошибок и сделали выводы более показательными. В планах у организаторов расширение репликационных попыток на другие используемые методы и исследования в биомедицинской сфере, что позволит системно оценить качество национальной научной продукции.Проблема воспроизводимости далеко не новая — аналогичные крупномасштабные исследования проводились и в других странах, где результаты также порой вызывают обеспокоенность. Тем не менее уникальность бразильского проекта состоит в том, что он объединил усилия по методологическому признаку, а не по узкой научной специализации. Такой подход даёт возможность понять не только проблему, но и причины её возникновения, а также наметить конкретные практические шаги для повышения уровня научной честности и ответственности.
Особое внимание уделяется вопросу, кто и как финансирует исследования и какова роль академической культуры в формировании качества научных публикаций. В условиях конкуренции за гранты и публикации некоторые исследователи могут бессознательно склоняться к «позитивным результатам» или манипулировать данными, что усиливает феномен публикационной предвзятости и усиливает эффект плагиата и фальсификаций. Репликационные проекты помогают выявить такие проблемы и способствуют возвращению к более строгим этическим и научным стандартам.Помимо стимулирования реформ внутри страны, данный проект привлечёт внимание зарубежных специалистов к качеству публикаций из регионов, традиционно менее представленых в мировой науке. Усиление взаимодействия между международными исследовательскими коллективами может помочь в стандартизации методик и снижении рисков воспроизводимости на глобальном уровне.