Проблема воспроизводимости в биомедицинских исследованиях: почему десятки работ не прошли проверку

Интервью с лидерами отрасли

В современном мире биомедицинские исследования играют ключевую роль в развитии медицины и улучшении здоровья населения. Однако критический момент, который всё чаще вызывает озабоченность в научном сообществе, — это проблема воспроизводимости полученных результатов. Недавний масштабный проект, проведённый в Бразилии, показал, что менее половины проверенных биомедицинских экспериментов удалось воспроизвести, что ставит под вопрос достоверность многих опубликованных научных данных. Это исследование открыло важные вопросы о методах, стандартизации и качестве исследований в биомедицинской науке и вызвало активные дискуссии о необходимом реформировании научной среды. Коалиция из более чем пятидесяти исследовательских групп объединилась в рамках Бразильской инициативы по воспроизводимости, запущенной в 2019 году.

Цель проекта заключалась в оценке воспроизводимости исследований, основанных на трёх наиболее распространённых методах в бразильской биомедицине: анализ митохондриального метаболизма клеток, ПЦР (полимеразная цепная реакция) и лабиринтовое тестирование поведения грызунов. Уникальность проекта заключалась в том, что оценивались работы по методологии, а не по исследовательской области или уровню цитируемости. Для проведения проверки были отобраны статьи, опубликованные в период с 1998 по 2017 год, в которых не менее половины авторов имели бразильскую аффилиацию. В результате была сформирована выборка из 60 работ. Каждый эксперимент воспроизводился в трёх различных лабораториях, что позволило более объективно оценить повторяемость результатов.

В целом было выполнено 97 попыток воспроизведения 47 экспериментов. Ученые оценивали воспроизводимость по нескольким критериям, включая значимость статистических данных и направление эффекта по сравнению с оригиналом. Результаты оказались неутешительными: лишь 21% из проверенных экспериментов были воспроизводимы по крайней мере по половине применимых критериев. Кроме того, было выявлено, что эффект в оригинальных статьях, как правило, был на 60% больше по масштабам, чем в повторных экспериментах. Это указывает на тенденцию к завышению значимости результатов в опубликованных работах.

Сложности реализации проекта также заслуживают отдельного внимания. В условиях пандемии COVID-19 многие лаборатории столкнулись с логистическими проблемами, что осложнило скоординированную работу большого количества исследователей. Помимо этого, возникли споры касательно необходимости точного следования первоначальным протоколам экспериментов. По словам организаторов, попытка объединить работу десятков независимых лабораторий, каждая из которых имеет собственные стандарты и подходы, была схожа с преобразованием гаражных групп в слаженный оркестр. Эти обстоятельства подчёркивают, насколько важна стандартизация и открытость научных процедур.

Прозрачное описание использованных методик, доступность исходных данных и строгое следование протоколам — ключевые компоненты, которые способствуют повышению воспроизводимости исследований. Причины низкой воспроизводимости можно связывать с несколькими факторами. Часто в исследованиях присутствуют методологические недостатки, неполное описание процедур, ограниченное количество проверок и экспериментальных повторов. Также существенна проблема публикационного смещения, когда публикуются в основном позитивные и эффектные результаты, а негативные или нейтральные данные остаются скрытыми. Это создаёт искажённую картину научных фактов и усиливает тенденцию переоценки значимости эффектов.

В дополнение к этим факторам играет роль давление на исследователей со стороны конкуренции за финансирование и признание, что иногда подталкивает к поспешным выводам и недостаточной тщательности исследований. В научной среде обсуждается необходимость улучшения системы оценки качества научных работ и назначения приоритетов в публичном финансировании. Несмотря на разочаровывающие результаты, учёные, участвовавшие в проекте, воспринимают их как возможность для роста и реформирования бразильской науки и мировой биомедицины в целом. Возникает чёткое понимание того, что только системный подход к улучшению научной практики — в том числе поддержку открытой науки, развитие репликационных исследований и повышение стандартов публикаций — сможет поднять уровень достоверности исследований и предотвратить непродуктивные траты ресурсов. Пример Бразильской инициативы привлекает внимание к необходимости координации глобальных усилий по повышению воспроизводимости обладателей научных данных, а также к важности формирования культуры научной честности и ответственности.