В последние годы тема воспроизводимости научных исследований привлекает все больше внимания как среди ученых, так и в общественности. При этом именно биомедицинская сфера оказалась одним из самых проблемных направлений с точки зрения проверки результатов. Недавно завершившийся масштабный проект, организованный в Бразилии, выявил тревожные данные: более половины проверенных исследований не удалось воспроизвести, затронув широкий спектр биомедицинских методов и экспериментов. Этот факт заставляет задуматься о качестве и надежности научных открытий, а также о методах и принципах организации исследований в современном мире. Уникальность данного проекта заключается в том, что он не ограничился проверкой отдельных отдельных областей биомедицины или топовых публикаций, а сосредоточился на трех наиболее распространенных методах исследований, используемых в бразильской биомедицинской науке.
Целью стало не просто воспроизвести результаты конкретных опытов, а оценить стабильность и достоверность данных, получаемых с помощью любых из этих популярных методик. Такой подход выделяет инициативу из числа других репликационных проектов, зачастую затрагивающих узкую тематику или ограниченный круг исследовательских групп. Проект был инициирован и координировался Бразильской инициативой по воспроизводимости — объединением более 50 команд из разных лабораторий и университетов страны. В общей сложности в работе участвовали 213 ученых из 56 научных учреждений, что придало проекту значительный общественный резонанс и вес. Именно масштабность и многокомандная координация сделали возможным проведение столь масштабного анализа с высоким уровнем внутреннего контроля.
Однако выполнение проекта пришлось вести с учетом пандемии COVID-19, которая значительно осложнила логистику и взаимодействие между участниками, а также привела к необходимости адаптации протоколов и методов работы. В работе были выбраны три метода, которые оказались наиболее типичными и распространенными в бразильских биомедицинских публикациях. Первый способ — тесты клеточного метаболизма, широко используемые для оценки функционального состояния клеток при различных условиях. Второй метод — технологии амплификации генетического материала, например ПЦР (полимеразная цепная реакция), крайне важные для исследований на молекулярном уровне. Третий — поведенческие тесты с использованием лабиринтов для грызунов, популярные при изучении когнитивных функций и нейробиологических процессов.
Выбор именно этих методик обеспечил возможность задействовать различные аспекты биомедицинских исследований. Исходной базой для репликации стали публикации 1998–2017 годов, в которых исследовательские коллективы с большей частью авторов из Бразилии применяли один из трех выбранных методов. Из них для проверки были случайным образом отобраны 60 статей, однако после исключений и организационных ограничений проверено оказалось 47 исследований в рамках 97 независимых репликаций, каждая из которых проводилась как минимум в трех разных лабораториях, с последующим тщательным контролем и оценкой качества воспроизведенных данных независимым комитетом экспертов. Результаты исследования оказались весьма разочаровывающими. Согласно пяти критериям, по которым судили об успешности воспроизведения, лишь 21% от всех испытанных экспериментов прошли проверку.
Это означает, что большинство заявленных в оригинальных публикациях результатов либо не воспроизводится вовсе, либо не соответствует заявленным статистическим показателям. Причем средний размер эффекта, зафиксированный в повторных экспериментах, оказался на 60% ниже, чем в исходных работах, что может свидетельствовать о завышении данных в публикациях из-за различных системных факторов — от некорректного статистического анализа до целенаправленного или непреднамеренного искажения данных. Полученные данные украшают репликационный кризис, уже известный научному сообществу, и ярко демонстрируют, что проблемы воспроизводимости глубоко укоренились в биомедицинской сфере, даже в стране с относительно развивающейся научной экосистемой, такой как Бразилия. Вместе с тем, уникальность проекта связана с тем, что он наглядно показывает необходимость реформ и системного изменения как на уровне государственных научных политик, так и внутри самих университетов и исследовательских организаций. Координаторы проекта уверены, что имеющиеся материалы и полученные данные могут стать основой для перестройки системы финансирования, проверки и оценки научной деятельности в стране.
Формирование обязательных стандартов репликации, внедрение культуры открытой науки, повышение требований к прозрачности данных и аудиту методических подходов должны стать приоритетами для бразильской научной среды. Это позволит повысить доверие к результатам, уменьшить количество ложноположительных данных и в конечном итоге сделать научные открытия по-настоящему полезными и применимыми в клинической практике и других сферах. Международные параллели показывают, что проблема воспроизводимости далеко не уникальна для Бразилии. Аналогичные усилия в других странах также обнаруживали сниженный уровень воспроизводимости биомедицинских исследований, что подчеркивает глобальный характер кризиса. Однако подход бразильских исследователей отличается ориентацией на методы, в то время как зачастую в мире репликация касается конкретных тем или высокоцитируемых работ, что может ограничивать понимание масштабов проблемы.
Несмотря на сложность и неоднозначность результатов, проект стал ярким примером успешного объединения усилий сотен ученых для объективной оценки качества собственной научной базы. Это своеобразное зеркало, в котором отражается не только состояние биомедицинской науки Бразилии, но и всякое научное сообщество, пытающееся бороться с вызовами точности и надежности. Подводя итоги, можно сказать, что проект выявил критическую необходимость в прозрачности, этике и стандартизации исследований. Воспроизводимость — это один из краеугольных камней современной науки, без которого любые открытия и инновации остаются под сомнением. Реализация масштабных инициатив по проверке данных, корректировкам политики как на институциональном, так и государственном уровне является залогом восстановления доверия к науке и обеспечения устойчивого прогресса в биомедицине.
Таким образом, неудачи крупного проекта по воспроизводимости налагают на всех участников академической среды и научного сообщества ответственность за то, чтобы следующий этап исследований и публикаций прошёл с учётом уроков и выявленных проблем, в атмосфере большей аккуратности, открытости и честности. Лишь так можно создать фундамент, на котором будут строиться эффективные методы лечения, диагностические технологии и кардинальные научные достижения будущего.
