Как рейтинг Эло из шахмат улучшает поиск и рейтинг документов в системах RAG

DeFi

Современные поисковые системы и системы Retrieval-Augmented Generation (RAG) сталкиваются с постоянной задачей улучшения качества релевантности возвращаемых результатов. В эпоху огромных массивов текстовой информации вопрос точного определения и ранжирования документов становится ключевым для повышения эффективности работы как для машинного обучения, так и для конечных пользователей. Инновационный подход, предложенный в компании ZeroEntropy из состава Y Combinator W25, основывается на использовании рейтинга Эло — популярной системы оценки силы игроков в шахматах — для обучения нейронных сетей-ранжировщиков, которые значительно превосходят традиционные модели по точности и надежности. Для понимания всей уникальности данного подхода необходимо сначала разобраться, что такое reranker и почему его внедрение критически важно в современных Retrieval-Augmented Generation системах. Reranker представляет собой модель, которая принимает на вход задание сформировать уточнённый рейтинг релевантности документов после того, как на первом этапе были отобраны предварительные кандидаты с использованием стандартных методов, таких как BM25 или семантический поиск.

В то время как поисковый движок обеспечивает широкий охват и высокую отзывчивость, reranker повышает качество результатов, анализируя каждый кандидат с учётом полного контекста и запроса, давая возможность системе более точно выделить наиболее релевантные варианты. Одной из проблем традиционных методов обучения ранжировщиков является зависимость от бинарных аннотаций: документ либо релевантен, либо нет. Такое упрощение уменьшает понимание иерархии релевантности между документами и приводит к появлению ложноположительных и ложноотрицательных примеров, негативно влияющих на качество ранжирования. Особенно остро эта проблема проявляется при подборке негативных примеров для тренировки, когда случайное отбор документов зачастую ведёт к включению потенциально релевантных результатов, не обнаруженных на этапе аннотирования — так называемых «ложных негативов». Эта ситуация существенно затрудняет обучение и снижает эффективность модели.

Вместо абсолютного количественного присвоения релевантности каждый документ сравнивается с другим по парным сражениям, где ответом является выбор более релевантного из двух вариантов. Такой сравнительный механизм позволяет значительно повысить точность и уменьшить субъективную неопределённость, возникающую при попытках поставлять модели абсолютные оценки релевантности. Ведь, как показала практика, люди и даже современные LLM (Large Language Models) гораздо стабильнее определяют, какой из двух документов лучше отвечают на конкретный запрос, нежели оценивают их по шкале бесконечно варьирующихся баллов. Сам принцип ранжирования с использованием рейтинга Эло для оптимизации качества сопоставимых пар является новаторским в области информационного поиска. В частности, для каждой пары документов при данном запросе с помощью ансамбля из нескольких LLM вычисляется вероятность того, что один документ предпочтительнее другого.

Эти вероятности затем используются для оценки и обучения так называемого pairwise reranker — легковесной модели, которая способна эффективно предсказывать результаты при сравнении любых двух документов с точки зрения релевантности. Дальнейший ключевой этап состоит в расчёте рейтингов Эло для всей совокупности документов по конкретному запросу. Вместо того, чтобы вычислять все возможные парные сравнительные оценки (которые растут квадратично с числом документов и становятся вычислительно непрактичными), применяется метод выборочного составления графа взаимных сравнений, где каждый документ конкурирует лишь в ограниченном числе сравнений. Это позволяет значительно снизить вычислительные затраты, сохраняя при этом высокую точность получаемых рейтингов. Рейтинг Эло обеспечивает компактное численное представление относительной релевантности документов, которое затем используется для обучения pointwise reranker — модели, предсказывающей абсолютную релевантность каждого документа к запросу.

При этом добавляется особый механизм устранения смещения — cross-query bias adjustment, учитывающий вариативность качества результатов между разными запросами. Это помогает скорректировать сдвиги, возникающие из-за различного уровня релевантности доступных документов для каждого отдельного запроса, обеспечивая более стабильные и корректные оценки по всему набору данных. Кроме структуры обучения, значительную роль в решении сыграли инженерные подходы: выбор подходящей архитектуры модели, тщательный подбор гиперпараметров, а также использование методов усиленного обучения (Reinforcement Learning) для дополнительной оптимизации. Именно они позволили достичь высочайшей точности и производительности, в сравнении с классическими rerankers, опирающимися на традиционные архитектуры и пометки от людей. Особый интерес представляет факт, что в качестве промежуточных «рефери» при составлении данных для обучения выступает ансамбль передовых больших языковых моделей, что обеспечивает точный и масштабируемый источник сравнительных оценок.

При этом валидация с помощью реальных человеческих аннотаторов показала, что мнение модели при консенсусе совпадает с человеческой оценкой более чем в 96% случаев, что значительно превышает согласованность между существующими моделейуково-ориентированными reranker’ами. Применение данного концепта открывает новые горизонты для улучшения качества информации, возвращаемой при поиске, особенно в сферах с большим объёмом документальных данных и сложными запросами, таких как юридическая, медицинская, научная и техническая литература. Комбинирование классических методов поиска с семантическими встраиваниями, а также использование радиального комбинирования рангов Reciprocal Rank Fusion совместно с инновационным обучением rerankers на основе рейтинга Эло позволяет формировать комплексную, устоявшуюся и технологически продвинутую систему поиска. В заключение, подход, предложенный ZeroEntropy, иллюстрирует, насколько инновационные методы из других областей — в данном случае из теории игр и спортивного рейтинга — могут успешно быть применены к сложным задачам информационного поиска. Использование рейтинга Эло позволяет решать проблемы с качеством и достоверностью обратной связи, создавать более эффективные модели ранжирования и повышать качество взаимодействия конечных пользователей с информационными системами.

Уже сейчас доступ к данным моделям открыт через API и репозиторий на HuggingFace, что даёт широкие возможности исследователям и разработчикам внедрять и улучшать системы поиска нового поколения.