Научное сообщество уже давно полагается на систему рецензирования как один из главных механизмов обеспечения качества публикаций. Однако эффективность этого процесса вызывает всё больше вопросов, особенно на фоне растущего объёма заявок на ведущие международные конференции по машинному обучению. В последние годы внимание исследователей и практиков привлёк уникальный проект — Structured, Normalized OpenReview dataset v1, или сокращённо SNOR v1. Этот открытый набор данных, созданный на базе платформы OpenReview, позволяет взглянуть на процесс рецензирования с новой перспективы, выявляя интересные закономерности, связанные с отклонёнными статьями, которые впоследствии стали очень влиятельными и получили множество цитирований. OpenReview — инновационная платформа для научной коммуникации, ориентированная на прозрачность и открытость рецензирования.
Благодаря ей конференции в сфере машинного обучения, такие как ICLR и NeurIPS, предоставляют публичный доступ к текстам рецензий, решениям о принятии или отклонении, а также к анонимным обсуждениям по каждой заявке. Это существенно отличается от традиционной практики, когда рецензии остаются закрытыми и доступны лишь авторам и организаторам. Тем самым OpenReview даёт возможность источникам, аналитикам и широкой аудитории изучать процесс и качество рецензирования, анализировать тенденции и выявлять слабые звенья в системе. SNOR v1 охватывает материалы конференций ICLR с 2017 по 2025 год и NeurIPS с 2021 по 2025 год. При этом в данных видны некоторые ограничения: все статьи на ICLR публикуются по умолчанию в открытом доступе, в то время как для NeurIPS открытыми становятся отклонённые работы лишь с согласия авторов.
Такая разница создаёт определённый сдвиг в представленных данных, который влияет на полноту анализа. Объём набора SNOR v1 впечатляет — более 38 тысяч связей между исходными заявками и их версиями в академической графовой базе Semantic Scholar, а также свыше 460 тысяч структурированных комментариев и рецензий. Важной особенностью является нормализация оценок и уверенности рецензентов, что позволяет сопоставлять показатели между разными конференциями и годами. Анализ корреляций между оценками и последующим количеством цитирований выявил интересные закономерности. В среднем принятые статьи действительно получают больше внимания и цитирований в научном сообществе.
Однако тенденция последних лет показывает, что число отклонённых, но впоследствии высокоцитируемых статей растёт, вызывая сомнения в стабильности и объективности рецензирования. Особый интерес представляют так называемые «лучшие отвергнутые статьи» — публикации, которые изначально получили низкие оценки рецензентов или были напрямую отклонены, но впоследствии стали очень популярными и важными. Из известных примеров можно назвать статью о ROBERTA, отвергнутую на ICLR 2020, но собравшую свыше 20 тысяч цитирований. Другие работы, такие как SqueezeNet, Prototypical Networks и Adversarial Examples in Physical World, также были изначально отвергнуты, но оказали значительное влияние на развитие машинного обучения и смежных областей. Почему так происходит? Процесс рецензирования — это всегда компромисс и человеческий фактор.
Авторы сталкиваются с ограничениями по времени, вниманием рецензентов и потенциальными субъективными мнениеями. Некоторые инновационные или концептуально сложные работы могут поначалу казаться недостаточно развёрнутыми или слишком необычными, что приводит к их отклонению. Однако после публикации на других площадках или доработки эти статьи получают заслуженное признание и активно цитируются. Интересную грань в анализе открывает возможность исследования «неудачливых» авторов, чьи исследования неоднократно отклонялись, но при этом суммировали значительное количество цитирований после публикаций. Дальнейшее изучение таких случаев помогает понять системные проблемы науки и улучшить механизмы отбора научных трудов.
Не менее привлекательной для исследователей оказалась и возможность использования текста рецензий, обсуждений и комментариев. Они содержат огромный массив информации для анализа аргументации рецензентов, структуры обратной связи и выявления ключевых факторов, влияющих на принятие решения. Также данные SNOR v1 становятся ценным ресурсом для обучения и настройки моделей искусственного интеллекта, в частности, для систем машинного обучения, ориентированных на анализ научных текстов и поддержание научного рецензирования. Необходимо отметить, что SNOR v1 далеко не первая попытка исследовать систему рецензирования с помощью открытых данных. Ранее появились такие проекты, как AMPERE, PeerRead и CiteTracked, предоставляющие наборы рецензий и связанных метаданных, но SNOR v1 отличается по объёму, структурированности и включению взаимодействий между рецензентами.
Это открывает гораздо более широкие горизонты для комплексного понимания и будущего совершенствования научного процесса. Будущее SNOR и подобных инициатив во многом зависит от расширения круга конференций и дисциплин, ведущих открытую практику рецензирования. С появлением новых платформ и поддержки идеи открытой науки мы можем ожидать более обширные и полноценные данные, что поможет не только выявлять проблемы и «слепые пятна» в рецензировании, но и формировать новые стандарты качества, прозрачности и справедливости в научной коммуникации. Помимо непосредственного воздействия на науку, подобные данные находят применение в развитии технологий больших языковых моделей и AI-систем, которые учатся на реальных диалогах, аргументации и обратной связи в научном сообществе. Это открывает новые горизонты для автоматизированной помощи как в подготовке научных трудов, так и в самом процессе экспертной оценки.
Таким образом, ситуация с отвергнутыми статьями показывает, что традиционные подходы к рецензированию требуют тщательного переосмысления и доработки, учитывая растущие объёмы публикаций и многообразие научных направлений. Современные инструменты и данные, такие как SNOR v1, позволяют анализировать не только отдельные решения, но и системные закономерности, делая процесс публикации более прозрачным, открытым и справедливым. В конечном итоге это способствует развитию науки и помогает выявлять по-настоящему ценные идеи, независимо от стартового результата рецензирования.
