В последние годы проблема воспроизводимости научных исследований стала одной из ключевых тем в академическом сообществе по всему миру. Воспроизводимость — это способность независимых ученых получить те же результаты, повторяя эксперименты или исследования, что является краеугольным камнем научного метода и гарантией надежности научных знаний. Однако несмотря на очевидную важность, многие исследования в различных областях науки, особенно в биомедицинской сфере, сталкиваются с трудностями при попытке повторного подтверждения своих выводов. Это порождает тревогу касательно качества и достоверности опубликованных данных. Недавно в Бразилии был проведен уникальный масштабный проект, целью которого стало выяснить, насколько биомедицинские исследования, проведённые в стране, поддаются воспроизводимости.
Результаты проекта оказались крайне разочаровывающими и открыли глаза на существующие системные проблемы в научной практике. Инициатива была реализована под эгидой так называемой Бразильской инициативы воспроизводимости (Brazilian Reproducibility Initiative), масштабы которой поражают: свыше пятидесяти коллективов учёных, объединивших усилия и знания, взялись пересмотреть и попытаться воспроизвести результаты из опубликованных статей бразильских исследователей. Основным критериями отбора исследований для перепроверки стали используемые методы, часто применяемые в биомедицинских лабораториях страны, а не тематическая область работ или их цитируемость. Это необычный подход, так как большинство подобных проектов опирается на приоритетность научной области или популярность публикаций, а не на универсальность применяемых методик. Методы, которые были выбраны для проверки, включали три часто используемых инструмента в биомедицине: анализ клеточного метаболизма, метод амплификации генетического материала и проведение поведенческого теста с использованием лабиринта для грызунов.
Все эти подходы характеризуются широкой распространённостью и представляют различные направления биологических исследований. Проверяемые статьи охватывали период с 1998 по 2017 годы, при этом авторский коллектив должен был содержать не менее половины сотрудников с аффилиацией к бразильским учреждениям. Процесс воспроизводимости включал многократное повторение каждого эксперимента в разных независимых лабораториях – обычно по три попытки на каждое выбранное исследование. Это позволило установить объективность и устранить влияние случайных факторов. Объём работы был колоссальным: 213 учёных в 56 лабораториях стали участниками проекта, свидетельствуя о невероятной коллаборации и общенаучном интересе.
Однако главные выводы проекта оказались тревожными. Менее половины попыток подтвердить результаты исследований в итоге были успешными. С учётом пяти критериев оценки воспроизводимости, доля исследований, удовлетворяющих хотя бы половину из них, составила всего 21 процент. Кроме того, в среднем эффект, описанный в начальных исследованиях, оказался на 60 процентов сильнее, чем в последующих репликациях, что указывает на тенденцию публикации завышенных данных или возможное методологическое искажение результатов. Такие итоги не уникальны: похожие проблемы с воспроизводимостью отмечены и в других странах, но фокус именно на методах и стране создает крайне ценный опыт для анализа и исправления ситуации на национальном уровне.
Основной координационный центр проекта – Федеральный университет Рио-де-Жанейро – подчёркивает важность этих данных для внутреннего реформирования научной сферы в Бразилии. По мнению исследователей, полученные материалы являются основой для разработки новых политик и стандартов в научной деятельности, направленных на повышение открытости, качества методологии и ответственности перед научным сообществом и обществом в целом. Проект столкнулся с рядом вызовов, ареной которых стал период пандемии COVID-19. Ограничения на передвижение, доступ к лабораториям и необходимость адаптации протоколов по новым правилам повлияли на динамику и организацию работы. При этом сохранялись разногласия между группами относительно того, насколько строго следует придерживаться оригинальных протоколов проведённых исследований – ведь даже небольшие отклонения могут повлиять на конечный результат.
Благодаря кропотливой координации и усилиям многочисленных специалистов удавалось справляться с этими трудностями, достигая максимальной объективности. Результаты инициативы открывают пространство для дискуссий о качестве научных публикаций, необходимости прозрачности данных и стандартов экспериментов. Они также способствуют развитию культуры публикации отрицательных или неудачных результатов, что крайне важно для сбалансированного понимания научных процессов и предотвращения чрезмерного оптимизма. Такие проекты, как Бразильская инициатива воспроизводимости, могут стать образцом для других стран и профильных дисциплин. Чёткие стандарты репликаций, широкое сотрудничество учёных, применение современных технологий и инструментов для анализа данных – всё это инструменты для преодоления кризиса воспроизводимости и обеспечения доверия к науке.
