В последние годы проблема воспроизводимости научных исследований привлекает все больше внимания со стороны научного сообщества и общества в целом. Особенно остро эта тема стоит в биомедицинской науке, где подтверждение результатов играет критическую роль для развития новых методов лечения и понимания болезней. Недавний масштабный проект, проведенный в Бразилии, стал уникальной попыткой оценить степень воспроизводимости биомедицинских исследований, произведенных в стране, и показал тревожную картину. Коалиция более пятидесяти исследовательских групп объединилась в рамках инициативы под названием Brazilian Reproducibility Initiative, начатой в 2019 году при Федеральном университете Рио-де-Жанейро. Целью стало проверить достоверность опубликованных результатов через повторение экспериментов с использованием трех распространенных методов, широко применяемых в биомедицинских исследованиях: тестов метаболизма клеток, анализа амплификации генетического материала и поведенческих тестов на грызунах.
Идея заключалась не в проверке отдельных исследований по областьм или цитируемости, а именно по методикам, что позволило охватить широкий спектр бионаук. Эксперименты проводились в 56 лабораториях, где в них участвовало 213 специалистов, что сделало этот проект одним из крупнейших в истории направленных на воспроизводимость. Несмотря на амбициозность, организаторам пришлось столкнуться с серьезными проблемами в логистике, особенно на фоне пандемии COVID-19, а также с внутренними разногласиями по поводу строгого следования оригинальным протоколам. Это можно сравнить с попыткой превратить множество самостоятельных музыкальных коллективов с уникальным подходом в единый оркестр. После детального отбора были выбраны 47 экспериментов, проведенных с 1998 по 2017 годы, и выполнены 97 повторных попыток воспроизведения результатов.
Оценка успешности основывалась на пяти критериях, главным из которых было повторение статистически значимых результатов того же направления, что и в оригинальных работах. Итог оказался удручающим — воспроизведение удалось лишь в 21% случаев согласно большинству критериев. Это означает, что около четырех из пяти проверенных экспериментов не подтвердились должным образом. Кроме того, исследователи отметили, что эффект, заявленный в исходных работах, оказался значительно завышен — в среднем на 60%. Переоценка силы эффекта может стать одной из причин, по которой последующие исследования не могут подтвердить результаты, так как оригинальные работы могут создавать неверные ожидания.
Этот проект в Бразилии уникален не только масштабом и методологией, но и тем, что сосредоточен на национальном научном сообществе, что позволило выявить особенности внутренней структуры исследований и их качества. Анализ причин невоспроизводимости выявил несколько важных факторов, среди которых несоблюдение протоколов, недостаточное описание методов в статьях, вариабельность лабораторных условий и, что не менее важно, влияние человеческого фактора и когнитивных искажений. Недостоверность данных в биомедицинских исследованиях приводит к значительным последствиям. Неспособность воспроизвести результаты замедляет развитие науки, приводит к расходованию времени и финансовых ресурсов, а также ставит под сомнение доверие к научным публикациям в целом. Особенно критично это для медицины, где базовые исследования трансформируются в клинические испытания и терапевтические рекомендации.
Эксперты считают, что на основании полученных данных необходимо предпринять системные изменения. Это касается как научных учреждений, так и государственных политик. Среди предложенных мер — улучшение стандартов описания методов, внедрение многоступенчатого контроля качества публикаций, а также развитие культуры открытости и обмена данными. Повышение прозрачности исследований и внедрение практик пререгистрации экспериментов помогут снизить риски фальсификаций и улучшат доверие к науке. В дополнение важна роль обучения молодых ученых этическим нормам и правильным научным практикам, акцент на воспроизводимость результатов на всех этапах работы.
Особое значение приобретает международное сотрудничество и обмен опытом, поскольку проблемы воспроизводимости имеют мировое значение и требуют коллективных усилий. Этот случай из Бразилии резонирует с результатами других крупных инициатив по проверке воспроизводимости, например, проектами Open Science Collaboration и другими мультинациональными исследованиями. Общее понимание указывает на то, что кризис воспроизводимости — системная и глобальная проблема науки XXI века. В конечном счете, создание прочной и надежной базы биомедицинских знаний требует не только новых открытий, но и критической переоценки существующих методов работы. Только благодаря коллективным усилиям и расширению стандартов качества можно обеспечить прогресс, который будет устойчивым и полезным для общества.
Именно такой месседж несет в себе инициатива в Бразилии и подобные ей проекты. На фоне растущих вызовов и неопределенности в научной среде, роль научной рефлексии и самоконтроля становится все более важной. Так, проверка воспроизводимости не должна рассматриваться как критика или осуждение, а как возможность для роста и улучшения. В конечном счете, доверие к науке строится на честности и объективности, которые необходимо всячески поддерживать и укреплять. Таким образом, опыт бразильской инициативы служит важным примером и стимулом для научных сообществ по всему миру проводить более осознанную и ответственной работу, направленную на повышение качества исследований, их повторяемости и прозрачности.
Такое переосмысление позволит значительно повысить эффективность биомедицинских исследований и сделает их результаты по-настоящему полезными для здоровья человека и науки в целом.
