Кризис воспроизводимости в биомедицинских исследованиях: неудачи масштабного проекта в Бразилии

Альткойны

Проблема воспроизводимости научных исследований давно привлекает внимание ученых и широкой общественности. Недавно в Бразилии была проведена уникальная инициатива — массовый проект по проверке достоверности результатов биомедицинских исследований, выполненных в последние десятилетия. И хотя многие надеялись на подтверждение полученных ранее научных выводов, результаты исследования оказались разочаровывающими: менее половины попыток воспроизведения экспериментов дали сходные результаты. Эти данные вновь подтвердили масштабный кризис воспроизводимости в биомедицине и заставили призадуматься о методологическом качестве многих исследований, а также о необходимости системных реформ в научной инфраструктуре. Инициатива, известная как Бразильская инициатива по воспроизводимости, объединяет более 50 исследовательских команд и 213 ученых из 56 лабораторий по всей стране.

Они совместно взялись за задачу, которая ранее редко реализовывалась в столь масштабном формате и с таким специфическим уклоном. В отличие от других проектов в области верификации научных данных, бразильские ученые сосредоточились не на отдельных научных направлениях или наиболее цитируемых статьях, а на трех методах, которые широко применяются в биомедицинских исследованиях по всей стране. Именно на таких общепринятых методах было основано выборочное восстановление результатов экспериментов, включенных в проект. Выбор методов для проверки был результатом тщательного анализа случайной выборки опубликованных работ. В ходе отбора специалисты остановились на следующих методах: анализ клеточного метаболизма, техника амплификации генетического материала и специфический тест с использованием лабиринтов для грызунов, применяющийся для изучения когнитивных функций.

Такие методы являются краеугольным камнем многих исследований биомедицины, поэтому их успешное воспроизведение критично для подтверждения надежности результатов, на которых строится дальнейшее научное и клиническое развитие. Для репликации были случайным образом выбраны работы, опубликованные между 1998 и 2017 годами, с участием исследователей, по меньшей мере половина из которых была связана с бразильскими научными институтами. В проект попали 60 статей, каждая из которых проверялась одновременно в трех лабораториях. Затем независимая экспертная комиссия оценивала качество и достоверность репликативных экспериментов. В итоге было проведено 97 валидных попыток воспроизведения 47 оригинальных экспериментов.

Исследователи разработали комплекс из пяти критериев для определения успешности воспроизводимости, включая оценку статистической значимости, направления эффектов и других параметров. По результатам анализа только 21% проверенных экспериментов можно считать воспроизводимыми по половине и более из этих критериев. Это далеко не оптимальный показатель и совпадает с аналогичными наблюдениями в международных проектах воспроизводимости, указывая на глобальную проблему в биомедицинской науке. Еще одной важной находкой стал значительный разрыв в величинах эффекта между исходными и повторными исследованиями. Как правило, в оригинальных работах эффект интервенции был на 60% сильнее, чем в последующих попытках воспроизведения.

Этот факт указывает на тенденцию к преувеличиванию значимости результатов в опубликованных статьях, что может быть связано и с публикационным сдвигом в сторону положительных результатов, и с недочетами в дизайне экспериментов или анализе данных. Помимо технических сложностей, реализация проекта осложнялась внешними обстоятельствами, включая пандемию COVID-19, которая ограничивала возможности лабораторий и персонала. Кроме того, между командами возникали разногласия по методологической строгости при соблюдении оригинальных протоколов, что в некоторой степени напоминало преобразование «гаражных групп» в слаженный оркестр — каждый коллектив имел свои нюансы исполнения, которые требовалось согласовать для совместной работы. Участники Бразильской инициативы по воспроизводимости подчеркивают, что их результаты не являются обвинением отдельных научных групп или методик, а служат сигналом к развитию системных мер по повышению качества и прозрачности научной работы. Исследование предоставляет важный материал для разработки новых политик и регуляций, направленных на снижение рисков низкой воспроизводимости и повышения общего доверия к научным результатам в стране.

Важным выводом проекта становится необходимость реформирования подходов к финансированию науки, повышению стандартов методологической подготовки ученых и внедрению обязательных практик репликации в научный процесс. Акцент делается на том, что воспроизводимость должна стать приоритетом не только для отдельных исследователей, но и для научных институтов, редакций журналов, государственных органов и спонсоров науки. На международном уровне ситуация с воспроизводимостью вызывает схожие опасения. Аналогичные проекты в США, Европе и других регионах также фиксируют невысокие показатели воспроизводимости, что подчеркивает системный характер проблемы в современном научном сообществе. Однако уникальность бразильского проекта в его масштабности и системном подходе позволяет рассматривать его как образец для других стран, стремящихся повысить качество исследовательских данных.

Среди ученых нарастает понимание, что для улучшения ситуации необходимо внедрение открытых данных, совместное использование протоколов исследований, прозрачность отчетности и развитие культуры открытой науки. Только комплексный подход, включающий образование, финансирование, политику и инфраструктуру, позволит преодолеть кризис и восстановить доверие к научным публикациям как к надежному источнику знаний. Таким образом, несомненно, проект по репликации биомедицинских исследований в Бразилии открыл серьезные проблемы, но вместе с тем предоставил ценнейшие данные и вызвал общественную дискуссию о будущем науки в стране. Переосмысление научных практик, внедрение строгих стандартов и поддержка инициатив по воспроизводимости будут способствовать построению более крепкой и честной научной среды, способной противостоять вызовам и создавать прочную основу для клинических инноваций и улучшения здоровья общества.