В современном научном мире принято считать, что предоставление исследователям одинаковых данных и одинаковая постановка задачи должны приводить к схожим, если не идентичным выводам. Однако на практике это далеко не так. Исследование, проведённое группой учёных, выявило, что даже при работе с одними и теми же данными и гипотезами результаты могут значительно отличаться. Эта неочевидная ситуация носит название «исследовательской неопределённости» и отражает глубинные особенности научного анализа, присущие в особенности социальным наукам. Данное явление имеет глубокие причины, связанные с множеством факторов, которые превосходят простой вопрос о качестве данных или методологии.
Понимание этой проблемы имеет важное значение для повышения доверия к науке и улучшения процессов проведения и интерпретации исследований. Исследовательская неопределённость – это феномен, при котором разные команды учёных, обладающие равным доступом к одним и тем же исходным данным и работающие с одной и той же гипотезой, приходят к разным — порой диаметрально противоположным — результатам и выводам. В одном из масштабных исследований, в котором приняли участие 73 независимых исследовательских команды, была проверена популярная гипотеза о том, что увеличение числа иммигрантов снижает поддержку социальных политик населением. Результаты оказались чрезвычайно разнородными: одна часть команд увидела отрицательное влияние иммиграции на поддержку социальных программ, другая — положительное влияние, а третья не обнаружила значимых связей. Поразительно, что ни выбор статистических методов, ни профессиональная подготовка исследователей не объясняли большую часть наблюдаемого разброса в результатах.
Исследователи предположили, что причина кроется в тонких и idiosyncratic, то есть уникальных, индивидуальных решениях, принимаемых каждым исследователем при анализе данных. В чем же причины таких вариаций? Основная сложность связана с множеством решений, которые встречаются в ходе анализа данных. Аналитический путь – это цепь из множества выборов: выбор переменных, способов их измерения, моделей для обработки данных, критериев значимости, способа учета влияния контрольных факторов и множества других технических моментов. Даже если руководствоваться строго формализованными правилами, различные научные коллективы могут принять множество разных решения на каждом этапе своей работы. Эффект от их комплекса приводит к настолько выраженным отличиям, что приводит к разнонаправленным итогам.
Исследователи выделяют несколько гипотез, объясняющих возможные причины вариативности в результатах. Первая — гипотеза о компетентности — объясняет разброс, исходя из различий в уровне профессиональной подготовки, опыта и знаний аналитиков. Вторая — гипотеза подтверждающего уклона — говорит, что исследователи зачастую бессознательно принимают решения, которые подтверждают их исходные убеждения и ожидания. Но в ходе исследования было показано, что ни компетенции, ни убеждения исследователей не объясняют значительную часть вариабельности результатов. Это приводит к важному выводу: неопределённость результатов во многом обусловлена глубинной сложностью и неоднозначностью человеческих решений при построении моделей и оценке данных.
Если понимать, что процесс анализа данных – это не просто применение стандартизованных методик, а задача, требующая множества творческих и интерпретативных выборов, станет понятно почему не существует единого «правильного» ответа в исследовании сложных социальных феноменов. Исследовательская неопределённость особенно характерна для социальных наук. В отличие от естественных наук, где часто можно построить чёткую экспериментальную модель с контролируемыми переменными и повторяемым механизмом воздействия, социальные явления чрезвычайно комплексны и подвержены влиянию множества взаимосвязанных факторов. При этом данные часто бывают опосредованными, ограниченными по объёму или по своей природе субъективными. Всё это добавляет степеней свободы для интерпретации и аналитических решений.
Множество исследовательских решений касаются именно выбора способов обработки данных. Некоторые команды могли применять многоуровневые модели, учитывая структурированность данных (например, вложенность по странам и годам), другие — стандартные регрессионные модели без сложной структуры. Выбор показателей миграции, способ измерения отношения к социальной политике, критерии включения или исключения переменных и другие подобные решения многократно трансформируют итоговый результат. Даже мельчайшие различия в предварительной обработке данных порождают различные модели и выводы. Очень важным становится то, что исследователи по-разному интерпретируют результаты статистического анализа.
Граница значимости, субъективное понимание того, что считать поддержкой гипотезы, могут заметно варьироваться. В исследовании часть команд сочла гипотезу вовсе не тестируемой при данных условиях, что говорит о различиях в восприятии качества и полноты данных и концептуальных оговорок. Рассмотрение проблемы исследовательской неопределённости расширяет традиционный взгляд на надёжность науки. Ранее основной акцент делался на борьбе с систематическими ошибками и предвзятостями, которые могли погрешно влиять на результаты. Система научных публикаций, рецензирования и институциональные стандарты создают барьеры против субъективных искажений.
Тем не менее, этот новый подход показывает, что главной причиной вариативности могут оказаться именно уникальные, непреднамеренные и даже незаметные решения каждого исследователя, которые не обязательно связаны с ограничениями знаний или предвзятостью. Данная ситуация сформировала ряд важных последствий для научного сообщества и общества в целом. Во-первых, она требует от учёных более высокой степени эпистемической скромности – признание того, что полученные выводы могут иметь гораздо более широкий спектр возможных значений, чем принято считать при публикации результатов. Результатом должна стать более осторожная формулировка заключений и большей ясности в отчётах о конкретных методологических шагах и решениях, чтобы читатель мог оценить не только итог, но и степень неопределённости исследования. Во-вторых, существует необходимость в повышении прозрачности исследований.
Методологическая открытость, детальное описание каждого этапа анализа и предложение возможности воспроизведения сопровождаемого выводов со стороны независимых исследователей могут способствовать наиболее полной оценке и критике. В-третьих, этот феномен поднимает вопрос о роли коллективного научного знания и важности множества независимых анализов в построении научного консенсуса. Очевидно, что одной публикации недостаточно для убедительного подтверждения или опровержения сложных социальных гипотез. Только серия исследований с разнообразными аналитическими подходами и командами может продемонстрировать, есть ли устойчивое обобщаемое знание в данном вопросе. В-четвёртых, осознание исследовательской неопределённости может способствовать развитию новых исследовательских методик, направленных на систематическое изучение множества аналитических решений.
