В последние годы проблема воспроизводимости научных исследований становится одной из самых обсуждаемых в академическом сообществе. Устойчивое доверие к научным данным лежит в основе прогресса во всех областях науки, и особенно остро эта тема стоит в биомедицинской сфере, где результаты исследований напрямую влияют на здоровье и жизнь людей. Недавно завершившийся в Бразилии масштабный проект по проверке воспроизводимости биомедицинских исследований вызвал широкий резонанс, продемонстрировав многочисленные сложности и недочеты в отечественной научной практике. Эта инициатива, реализованная группой из более чем 50 научных коллективов, стала первой в истории масштабной попыткой систематически воспроизвести результаты биомедицинских экспериментов, опирающихся на три ключевых метода, распространенных в бразильских лабораториях. Результаты исследования оказались достаточно удручающими: воспроизвести удалось менее половины проверенных экспериментов, что совпадает по итогам с другими крупными исследованиями в мировой практике, но при этом обладает своей спецификой, так как ориентировался не на отдельную научную область, а на определенный набор методов и страну исхода публикаций.
Старт проекта пришёлся на 2019 год, когда группа исследователей из Федерального университета Рио-де-Жанейро решила внести существенный вклад в понимание того, насколько достоверны и устойчивы результаты, публикуемые бразильскими учёными в области биомедицины. В отличие от традиционных репликаций, которые чаще всего сосредоточены на наиболее цитируемых или значимых исследованиях, инициаторы выбрали иной подход — проверять публикации с опорой на используемые методики. Это позволило охватить широкий спектр тем и экспериментов, тесно связанных с реальной лабораторной практикой страны. Основные методы, выбранные для проверки, включали анализ клеточного метаболизма, амплификацию генетического материала и применение лабораторных тестов на грызунах, демонстрирующих когнитивные способности и поведение. Выбор пал именно на них, так как эти методы чаще всего применяются в бразильских биомедицинских исследованиях и доступны большинству лабораторий для повторения экспериментов.
Кроме того, в рамках проекта было отобрано 60 оригинальных работ, опубликованных за период с 1998 по 2017 год, причем акцент делался на статьи, в которых не менее половины авторов имели бразильскую аффилиацию. Каждая работа подвергалась пересмотру тремя отдельными командами, а позже результаты оценки проходили независимую экспертизу для определения валидности восстановления данных. При этом стояло несколько критериев оценки воспроизводимости. Важное место занимало подтверждение статистической значимости эксперимента и направление выявленного эффекта. Итогом стало то, что лишь 21 процент экспериментов смогли пройти порог воспроизводимости по как минимум половине измеряемых параметров.
Важным и тревожным наблюдением стало систематическое завышение эффекта в оригинальных исследованиях. Средний размер эффекта, заявленный в публикациях, оказался примерно на 60 процентов выше, чем тот, который получился при повторном эксперименте в рамках проекта. Это говорит о том, что биомедицинские исследования, публикуемые в Бразилии, подвержены когнитивным и методологическим искажениям, которые могут привести к чрезмерному оптимизму в оценке результатов. Одной из главных сложностей при проведении проекта стал логистический аспект. Эпидемия COVID-19 накладывала ограничения на передвижение и взаимодействие между лабораториями, что осложняло синхронизацию и стандартизацию экспериментов.
Кроме того, у каждой лаборатории до сих пор сохраняются свои методические особенности, которые, как отмечал один из руководителей проекта, сопоставимы с попыткой превратить гремящий гараж в слаженный оркестр. Несмотря на все трудности, проект дал мощный импульс к обсуждению проблем качества и прозрачности науки в Бразилии. Согласно словам координатора исследовательской инициативы, на данный момент появилась уникальная база данных и набор материалов, которые позволяют начать реформы как на уровне университетов, так и на государственном уровне. Отдельное внимание в дискуссиях уделяется вопросам открытого доступа к данным, повышению роли методов контроля качества и развитию метаисследовательской культуры среди ученых. Данные, полученные в ходе проекта, также вызывают необходимость переосмыслить систему научных поощрений.
Текущая модель, в которой большое значение придается цитированию и количеству публикаций, зачастую стимулирует повышенную подачу позитивных и эффектных результатов, что может искажать научную картину. Участники проекта подчеркивают, что только комплексный и системный подход может помочь повысить надежность и достоверность биомедицинских исследований, что в конечном итоге позволит улучшить качество медицинских инноваций и повысить доверие общества к науке. Отдельное место в обсуждениях занимает международный опыт репликаций. Например, уже в 2015 году международная группа учёных провела подобный масштабный проект в области психологических исследований, показавший воспроизводимость около 40 процентов. Новое бразильское исследование подтверждает универсальность существующих проблем, но при этом иллюстрирует важность региональных инициатив и учета специфики конкретных научных сообществ.
Следующим шагом для бразильского научного сообщества станет внедрение новых стандартов работы, более строгих критериев при публикации и распространение практики предварительных регистраций и открытых данных. Поддержка государства и академических институтов окажется ключевым фактором успеха этих трансформаций. Таким образом, масштабный проект по воспроизводимости биомедицинских исследований в Бразилии показал существующие проблемы в научной сфере страны, подтвердив необходимость глубоких реформ и повышения качества научных практик. Этот опыт стал знаковым не только для Бразилии, но и для мирового научного сообщества, демонстрируя актуальность проблемы достоверности результатов в эпоху быстро развивающихся технологий и растущих ожиданий общества от науки.
