В последние годы проблема воспроизводимости научных исследований становится одной из самых острых тем в сфере биомедицинской науки. Несмотря на значительные инвестиции и множество публикаций, огромное количество экспериментальных результатов не удается воспроизвести или подтвердить другими исследовательскими группами. Этот феномен подрывает доверие к научным данным, осложняет разработку новых лекарств и снижает общую эффективность исследований. Особенно ярко эта проблема проявилась в крупном международном проекте, проведённом в Бразилии, где попытки воспроизвести результаты многочисленных биомедицинских работ закончились неудачей в большинстве случаев. Такое широкомасштабное исследование стало тревожным сигналом для научного сообщества и побудило к необходимым изменениям на уровне как научных институтов, так и государственной политики.
Ключевым нюансом этой инициативы стало то, что акцент ставился не на одной узкой тематике, как обычно, а на трёх наиболее распространённых методах в биомедицинских исследованиях. Это позволило оценить воспроизводимость научных результатов в более широкой перспективе и выявить системные проблемы, связанные с методологией, статистическим анализом и этическими аспектами. Коалиция более пятидесяти исследовательских групп из 56 лабораторий в Бразилии объединилась для проверки достоверности опубликованных работ, охватывая публикации за почти два десятилетия — с 1998 по 2017 годы. Результаты оказались весьма огорчающими: менее половины проведенных репликативных экспериментов подтвердили первоначальные выводы. Более того, эффект во многих оригинальных исследованиях был переоценён, часто более чем на 60 процентов, что показывает склонность к ошибкам, искажающим восприятие значимости полученных данных.
Этот результат хорошо коррелирует с ранее проведёнными крупными международными проектами по проверке воспроизводимости, но уникальность бразильского подхода заключается в методологической ориентации и сосредоточении на национальном научном потенциале. Команда исследователей акцентировала внимание на методах, которые наиболее типичны для биомедицины в Бразилии — тестах клеточного метаболизма, методах амплификации генетического материала и поведенческих тестах на грызунах. Отказавшись от привычной практики оценки научных трудов по показателям цитируемости или признания, инициаторы проекта сосредоточились исключительно на научной репликативности, что позволило выявить глубокие системные проблемы. Пандемия COVID-19 добавила дополнительные препятствия и продемонстрировала, насколько хрупка и уязвима инфраструктура научных исследований в условиях глобального кризиса. Конечно, разногласия между лабораториями, сложности с точным воспроизведением протоколов и организационные барьеры осложнили задачу, что лишь подчеркнуло потребность в более стандартизированных и открытых исследованиях.
Независимый комитет оценивал каждое воспроизводство по ряду критериев – они включали в себя статистическую значимость результатов, направление эффекта, и соответствие оригинальным методологиям. Хотя 21% репликативных экспериментов прошли проверку по минимум половине применимых критериев, общий уровень воспроизводимости все равно остаётся низким. Стоит отметить, что такие низкие показатели имеют далеко идущие последствия. Во-первых, неэффективно расходуются ресурсы — время, финансирование, человеческие усилия. Во-вторых, отсутствие воспроизводимости приводит к замедлению прогресса в медицине, поскольку неопределённость результатов усложняет транслирование лабораторных находок в клиническую практику.
В-третьих, ситуация подрывает репутацию научного сообщества и снижает доверие общества к науке в целом. При этом плодотворно использовать опыт бразильского проекта можно для разработки комплексных мер, направленных на улучшение качества и прозрачности научных данных. Одним из возможных направлений является более строгий аудит при публикации результатов, включающий обязательную публикацию полных протоколов и сырых данных. Публикация негативных или неполных результатов также должна получать поддержку, чтобы уменьшить «публикационный сдвиг» в сторону сенсационных выводов. Ещё один важный момент — обучение исследователей принципам репликации и методам уменьшения предвзятости в экспериментальных исследованиях с самого начала карьеры.
Внедрение таких практик позволит повысить уровень научной культуры, сделать её более осознанной и ориентированной на качество, а не только на количество публикаций. Государственные органы и научные фонды могут способствовать позитивным изменениям, стимулируя проекты, направленные на воспроизводимость, и поощряя открытость в исследованиях. При этом важно развивать внутриуниверситетские и межлабораторные стандарты, создавая сеть контроля и взаимного контроля. Кроме того, необходима работа по модернизации методологической базы и развитию новых методов оценки результатов, которые будут учитывать возможные нюансы и уменьшать влияние случайных факторов. Развитие инструментов статистического анализа и использование более объективных критериев поможет как авторам, так и рецензентам.
