В последние годы проблема воспроизводимости научных исследований стала одной из самых обсуждаемых тем в мировом научном сообществе. Особое внимание к этому вопросу привлекла масштабная инициатива, направленная на проверку воспроизводимости биомедицинских экспериментов, проведенных в Бразилии. Коалиция из более чем 50 исследовательских команд объединила усилия, чтобы повторно проверить достоверность результатов, представленных в десятках биомедицинских публикаций, но получила результаты, вызывающие тревогу: удалось воспроизвести менее половины экспериментов. Этот провал выявляет системные проблемы в научной практике и указывает на необходимость серьезных изменений в подходе к научным исследованиям и оценке научной работы. Инициатором и координатором данного проекта выступила Бразильская инициатива воспроизводимости, стартовавшая в 2019 году исследователями Федерального университета Рио-де-Жанейро (UFRJ).
Проект стал уникальным по нескольким причинам: он сосредоточился на конкретных методах исследования, а не на научных областях или популярности статей, а также проводился на территории одной страны, что позволило сформировать целостную картину состояния биомедицинской науки в Бразилии. В общей сложности в работе приняли участие 213 ученых из 56 лабораторий по всей стране. Выбор методов для проверки воспроизводимости был основан на исследовании наиболее распространенных биомедицинских техник, используемых в публикациях с бразильским участием. В итоге были отобраны три ключевых метода: тестирование клеточного метаболизма, амплификация генетического материала и лабораторный тест с использованием лабиринта для грызунов. Все эти методы широко применяются в биомедицинских исследованиях и находятся в арсенале большинства лабораторий, что делает их подходящими для масштабной репликации.
Среди опубликованных с 1998 по 2017 год статей, каждая из которых имела не менее половины авторов с бразильской аффиляцией, проект случайным образом отобрал 60 статей для повторного воспроизведения. Каждая отдельная работа проходила тестирование как минимум в трех лабораториях с последующей независимой экспертизой, оценивающей качество проведенной репликации. Всего было выполнено 97 воспроизводимых попыток, охватывающих 47 различных экспериментов. Критерии оценки воспроизводимости включали несколько параметров, среди которых основным было достижение статистически значимых результатов, совпадающих по направлению с оригиналом, в не менее чем половине повторных тестов. По итогам работы только 21% экспериментов соответствовали хотя бы половине установленных требований воспроизводимости.
Этот показатель свидетельствует о том, что большинство опубликованных исследований, по всей видимости, содержат результаты, которые в реальной лабораторной практике проявляются менее отчетливо или совсем отсутствуют. Еще одно тревожное наблюдение связано с эффектом размера — показателем, отражающим масштаб воздействия изучаемых интервенций. Воспроизводимые эксперименты, как правило, демонстрировали эффект, в среднем на 60% менее выраженный по сравнению с оригинальными публикациями. Такая систематическая переоценка эффектов усиливает сомнения в достоверности исходных данных и заставляет задуматься о причинах подобных искажений — от методологических ошибок и статистических манипуляций до проблем публикационного отбора и «позитивного» искажения результатов. Низкая воспроизводимость исследований — явление не новое.
Аналогичные проекты, например, престижный Reproducibility Project, проведенный в США в 2015 году, показали сходные результаты, укрепляя мнение о том, что научное сообщество в целом сталкивается с кризисом надежности данных. Однако бразильский проект выделяется своей методологией и масштабом: фокус на конкретных методах и ориентир именно на одну страну позволяют выстроить гораздо более детальный и контекстуализированный анализ проблем. На фоне этих результатов ученые и менеджеры науки в Бразилии отмечают, что у них теперь есть весомая основа для инициирования реформ. Речь идет о необходимости пересмотра механизмов финансирования, системы оценки исследований, а также внедрения стандартов, повышающих прозрачность и качество научных данных. Кроме того, важным становится поощрение репликационных исследований как самостоятельного направления, а не как рутинной проверки.
Сложности, с которыми столкнулась команда во время пандемии COVID-19, лишь усилили значимость проекта. Работа в условиях ограниченного доступа к материалам и лабораториям, а также споры по поводу степени точного следования оригинальным протоколам напоминали попытки «собрать оркестр из гаражных групп», как описал ситуацию координатор проекта, врач Olavo Bohrer Amaral. Тем не менее, эти трудности не помешали реализовать честный и открытый эксперимент, демонстрирующий реальные проблемы в отечественной биомедицине и предлагающий возможные пути их решения. Научная репликация — фундаментальная составляющая развития науки. Именно повторение экспериментов подтверждает достоверность открытий и служит основой для построения дальнейших теорий и клинических инноваций.
Снижение доверия к опубликованным данным приводит к замедлению прогресса, потере ресурсов и, в случае биомедицины, может напрямую отразиться на здоровье и жизни пациентов. Поэтому результаты бразильской инициативы должны восприниматься не как повод для пессимизма, а как приглашение к реформам и укреплению научной культуры. Вместе с тем ситуация в Бразилии отражает более глобальные тренды и проблемы. Традиционные модели оценки научной успешности, акцент на публикации в престижных журналах и давление на исследователей показывают свою ограниченность и порождают нежелательные артефакты в научном процессе. Новые подходы, ориентированные на качество, прозрачность методологии и открытость данных, становятся ключом к преодолению кризиса доверия.
Прозрачность в публикации результатов и доступ к исходным данным позволят другим ученым легче повторять исследования и выявлять ошибки. Интеграция в обучение ученых знаний по статистике и проектированию экспериментов также критична для минимизации систематических ошибок и усиления методологической строгости. Не менее важна поддержка репликационных исследований на государственном и институциональном уровнях, поскольку они не всегда воспринимаются как престижные или финансово выгодные. Бразильский проект показал, что репликация и контроль качества исследований — это реальные и выполнимые задачи, даже в условиях ограниченных ресурсов и организационных трудностей. Успешная координация сотен ученых по всей стране стала свидетельством потенциала научного сообщества, способного к самоанализу и совершенствованию.
Будущее биомедицины в Бразилии и других странах во многом зависит от того, насколько быстро и масштабно такие инициативы получат поддержку и окажут влияние на научную практику и политику. В заключение, провал проверки воспроизводимости десятков биомедицинских исследований в Бразилии выявил глубокие проблемы и вызвал необходимость пересмотра подходов к научным исследованиям. Результаты работы говорят о том, что наука развивается не только через новые открытия, но и через умение критически оценивать, проверять и корректировать уже существующие знания. Такой процесс будет гарантировать устойчивое развитие науки и доверие общества к ее достижениям.
