Крупный проект по проверке повторяемости не подтвердил результаты множества биомедицинских исследований в Бразилии

Биткойн

Проблема воспроизводимости научных исследований давно привлекает внимание международного научного сообщества. Высокие ожидания и доверие к опубликованным результатам часто испытываются на прочность, когда независимые группы пытаются повторить эксперименты и получают совсем иные данные. Особенно важна воспроизводимость в биомедицинских исследованиях, где ошибки могут повлиять на последующие разработки лекарств, методы лечения заболеваний и здравоохранение в целом. Недавно проведённый масштабный проект в Бразилии выявил тревожные цифры, демонстрирующие, что менее половины проверенных экспериментов удалось успешно воспроизвести, что заставляет задуматься о состоянии национальной и, шире, мировой науки. Проект, организованный под названием Brazilian Reproducibility Initiative, собрал усилия более чем 200 учёных из 56 лабораторий по всей Бразилии и стартовал в 2019 году.

Главная цель заключалась не в анализе отдельных научных областей или публикаций с высокой цитируемостью, а в проверке воспроизводимости исследований, основанных на трёх широко используемых в биомедицине методах: анализе клеточного метаболизма, амплификации генетического материала (PCR) и когнитивных тестах на лабораторных грызунах. При отборе работ для репликации использовался рандомизированный подход: выбирались статьи, опубликованные с 1998 по 2017 годы, в которых хотя бы половина авторов была связана с бразильскими исследовательскими организациями. Затем для каждой опубликованной работы выполняли три независимых воспроизведения экспериментов, после чего специальный комитет оценивал корректность и валидность проведённых реплик. Результаты шокируют: только около 21% проверяемых экспериментов удовлетворяли критериям воспроизводимости. Более того, эффект, обнаруженный в оригинальных публикациях, был в среднем на 60% сильнее, чем в повторных тестах, что свидетельствует о систематической переоценке значимости и эффективности выявленных научных эффектов.

Такой разброс может говорить о различных факторах, включая излишний оптимизм в интерпретации результатов, технические неточности, недостаток прозрачности или даже сознательную искаженность данных. Для Бразилии результаты имеют двоякое значение. С одной стороны, они выявляют серьёзные уязвимости в системе научных исследований, от которые страдают доверие общества и усилия научного сообщества. С другой стороны, исследователи получили уникальный материал, который позволит поэтапно повышать качество научных стандартов, методик и взаимоконтроля, а также стимулировать внедрение реформ в образовательных учреждениях и научных институтах страны. Во время реализации проекта участники столкнулись с многочисленными логистическими и организационными сложностями, частично вызванными пандемией COVID-19.

Нередко возникали разногласия в том, насколько строго следует придерживаться оригинальных протоколов исследований, что являлось настоящим вызовом в попытке скоординировать работу множества лабораторий с разными подходами к исследовательской деятельности. Это позволило участникам лучше понять, насколько важно единое понимание стандартов и стандартных операционных процедур для повышения воспроизводимости. Мировой научный опыт показывает, что воспроизводимость — не только проблема одной страны. Последний проект в Бразилии демонстрирует аналогичные результаты, которые были выявлены и предыдущими крупными международными инициативами. Столкнувшись с этими вызовами, научный мир всё активнее дискуссирует о необходимости изменения существующих правил публикации, ужесточения процедур рецензирования и усиления практик открытой науки — например, обязательной публикации данных и протоколов экспериментов.

Неудачная проверка воспроизводимости гласит нам о необходимости пересмотра научных подходов и принятии мер, направленных на повышение качества научных исследований. Для биомедицины это критично, так как здесь ошибки могут нести прямую угрозу жизни и здоровью людей. Публичные и академические организации, а также правительственные структуры должны использовать подобные инициативы для формирования эффективной политики, нацеленной на поддержку и развитие репликационных исследований, предоставление дополнительного финансирования и ресурсов для воспроизводимых экспериментов и внедрение образовательных программ для повышения квалификации исследователей. В конечном итоге, проект Brazilian Reproducibility Initiative стал знаковым событием, открывшим глаза не только бразильским, но и международным учёным на масштабы и глубину проблемы. Проблемы воспроизводимости можно и нужно решать с помощью сотрудничества научного сообщества, повышения прозрачности и ответственности любого этапа исследовательского процесса.

В этом контексте открываются перспективы для повышения доверия к научным результатам, укрепления научной этики и обеспечения того, чтобы важнейшие открытия действительно служили на благо общества. Такое масштабное исследование имеет потенциал стать точкой поворота в подходах к контролю качества научных работ в биомедицине и послужить примером для других стран, заинтересованных в росте и развитии собственных научных систем. Бразильский опыт показывает: вопросы воспроизводимости требуют комплексного подхода, включающего как технические, так и культурные изменения внутри исследовательского сообщества и страны в целом.