В современном медицинском исследовании рандомизированные контролируемые испытания (РКИ) остаются золотым стандартом для оценки эффективности и безопасности терапевтических вмешательств. Однако результаты этих исследований нередко подвержены различным видам систематического смещения, что влияет на достоверность выводов. Именно поэтому оценка риска смещения (Risk of Bias, RoB) является неотъемлемой частью систематического обзора и метаанализа. В 2019 году Коранский центр выпустил обновленную версию инструмента оценки риска смещения — RoB2, которая призвана устранить недостатки предыдущей версии, сделав процесс анализа более структурированным, однако при этом внедряя дополнительные сложности в применении из-за многоуровневой и комплексной структуры. Одним из главных вызовов применения RoB2 стала низкая межэкспертная согласованность (interrater reliability, IRR) и значительное время, необходимое для детального анализа каждого РКИ.
По данным текущих исследований, на оценку одного результата может уходить от 28 до 40 минут, что существенно замедляет процесс систематических обзоров. В ответ на эти вызовы на арену вышли большие языковые модели (LLM), обладающие выдающимися способностями к обработке текста, пониманию сложных связей и логических конструкций. Большие языковые модели, такие как Claude 3.5 от Anthropic, способны не просто обрабатывать сырой текст, а моделировать цепочки рассуждений, что особенно важно при решении задач, требующих последовательного анализа множества факторов, как, например, в RoB2. Использование LLM позволяет стандартизировать подход к извлечению информации из текстов исследований и формированию объективных суждений по каждому домену риска смещения.
Исследование, проведенное командой ученых из Китая, продемонстрировало эффективность применения LLM в оценке RoB2 на выборке из 46 РКИ, случайно отобранных из обзоров Корановской библиотеки. В работе приняли участие опытные рецензенты, прошедшие специализированное обучение, которые провели независимую оценку риска смещения с последующим консенсусом. LLM выполнял оценки параллельно, без дополнительного обучения, используя специально разработанные протоколы и оптимизированные промпты. Результаты оказались многообещающими. Среднее время оценки одного РКИ LLM составляло около двух минут, в то время как человек требовал более 30 минут, что отражает значительное ускорение работы.
По показателям точности модели достигали от 57,5% до 70%, сравнимо с человеческими экспертными оценками, при этом на уровне отдельных сигнальных вопросов точность превышала 80%. Более того, последовательность ответов на повторных прогонах модели сохранялась на уровне более 85%, что свидетельствует о высокой стабильности и надежности LLM. При этом выявились и некоторые типичные ошибки. Модель иногда допускала неточности в извлечении деталей о методах рандомизации, интерпретации данных пропусков, а также смешивала оценку пациентов и наблюдателей при анализе слепых исследований. Дополнительный анализ показал, что значительный прирост точности достигается при использовании автоматизированного алгоритма RoB2 для обработки сигнальных вопросов, а не непосредственном формировании оценок ромоделью.
Одним из важных преимуществ LLM является возможность снизить проблему разночтений между экспертами, возникающих из-за субъективного восприятия сложных методологических деталей. Автоматизированная система с четко заданным алгоритмом разбора данных снижает вероятность смещения, связанного с человеческим фактором. Тем не менее, пока невозможно полностью заменить экспертов, но ассистирование LLM уже демонстрирует потенциал для экономии ресурсов и повышения качества оценок. Следует отметить ограничения текущих исследований: небольшой объем выборки, ограниченное количество РКИ с акцентом на критерий “adhering” (соблюдение вмешательства), а также невозможность обработки больших объемов дополнительных материалов, таких как приложения или протоколы, в одном запросе к модели. Кроме того, потенциальные системные ограничения, связанные с предвзятостью исходных данных, учитываемых при обучении LLM, требуют осторожного подхода и дальнейшей проверки.
