В последние годы научное сообщество по всему миру всё активнее обсуждает проблему воспроизводимости исследований, особенно в области биомедицины. Недавний масштабный проект из Бразилии продемонстрировал, что менее половины проверенных биомедицинских экспериментов удалось воспроизвести. Подобные результаты подтверждают тревожную тенденцию, выявляемую в ряде крупных международных инициатив, и заставляют задуматься о необходимости системных изменений в научной практике. Проект, проведённый в Бразилии под эгидой инициативы Brazilian Reproducibility Initiative, объединил более 50 научных коллективов и более 200 учёных из 56 лабораторий по всей стране. Особенность этой инициативы в том, что внимание уделялось не одному конкретному научному направлению, а строго методам исследований, что позволило более объективно оценить reproducibility – воспроизводимость результатов, важнейший критерий научной достоверности.
Отбор экспериментов для проверки осуществлялся на основе трёх наиболее распространённых методик, используемых в биомедицинских исследованиях Бразилии. Среди них была оценка клеточного метаболизма, техника амплификации генетического материала, а также когнитивные тесты на грызунах, включающие изучение поведения в лабиринтах. Исходный массив включал статьи, опубликованные с 1998 по 2017 годы, без предпочтения в плане цитируемости или предполагаемой важности исследований. Конечным итогом стали 97 валидных попыток воспроизведения 47 оригинальных экспериментов из начального набора 60 работ. Крайне низкий показатель успешности – всего 21% экспериментов были воспроизводимы хотя бы по половине используемых критериев, что является тревожным сигналом для всей биомедицинской науки Бразилии, а также для международного научного сообщества в целом.
Почему важна проблема воспроизводимости? Воспроизводимость исследований — это один из базовых принципов научного знания, который гарантирует, что выявленные закономерности и эффекты не случайны и не связаны с субъективностью исследователей. Невозможность воспроизведения результатов ставит под сомнение ценность исходных данных и подрывает доверие к публикациям, что тормозит развитие науки и внедрение новшеств в медицинскую практику. Одной из ключевых причин низкой воспроизводимости исследователи называют проблемы с методологией и статистическим анализом. В ряде случаев методики, применённые в оригинальных статьях, описывались не полностью или содержали допущения, которые на этапе повторных экспериментов могли привести к искажениям. Кроме того, проект выявил тенденцию к завышению эффекта в исходных исследованиях.
Размер эффекта в повторных экспериментах в среднем составил всего 40% от заявленного в оригинальных работах, что указывает на существенное переоценивание результатов в публикациях. Сложности возникали также из-за неоднородностей в воспроизведении протоколов. Как отметил координатор проекта, добиться стандартизации работы больше 50 лабораторий с различающимися подходами и оборудованием оказалось сложной задачей. Тем не менее, такой опыт показывает необходимость более строгих регуляций и согласованных протоколов для проведения экспериментальной биомедицинской науки. Результаты бразильского исследования не уникальны для региона.
Международные проекты, включая работу Open Science Collaboration, ранее демонстрировали похожие проблемы с воспроизводимостью в разных дисциплинах. Однако акцент на методах и локальная фокусировка на научном сообществе Бразилии даёт уникальную точку зрения на проблему и предоставляет почву для реформирования национальной науки. Эксперты полагают, что выявленные проблемы должны послужить отправной точкой для разработки политик, направленных на повышение прозрачности, качественную подготовку исследователей и внедрение практик открытой науки. Среди возможных мер рассматривается обязательное раскрытие подробных протоколов, регистрация исследований на предварительных этапах и поощрение публикации данных вне зависимости от результата экспериментов. Наблюдается и активизация общественного и академического диалога, направленного на борьбу с так называемым p-hacking — манипуляциями с данными и выбором видов анализа ради получения статистически значимых результатов, что негативно сказывается на достоверности публикаций.
Важной стороной стало и привлечение государственных институтов, финансирующих научные проекты, к контролю за качеством исследований, что поможет снизить культурные и методологические барьеры, способствующие недостоверным результатам. Несмотря на неудовлетворительные итоги воспроизводимости, проект в Бразилии создаёт позитивный прецедент. Он подчеркивает, что исправительные меры возможны и необходимы для устойчивого развития науки. Более того, инициатива стимулирует международное сотрудничество в области метаисследований и повышения стандартов научной этики. Кроме того, изучение воспроизводимости играет важную роль для повышения доверия общественности к науке.
