Последние достижения в области искусственного интеллекта продолжают удивлять и расширять границы нашего понимания возможностей больших языковых моделей (БЯМ). Исследование, проведенное в Университете Копенгагена, сосредоточилось на проверке так называемой гипотезы мировой модели на примере игры Отелло — стратегической настольной игры с простыми, но глубоко структурированными правилами. В основе эксперимента лежал вопрос: могут ли языковые модели, обученные исключительно на последовательностях ходов в игре, понять правила, конфигурацию доски и логику игры, не имея визуальных данных или формальных описаний? Ответ на этот вопрос открывает новую главу в развитии ИИ и понимании того, как машины интерпретируют и абстрагируют информацию из текстовых данных. Гипотеза мировой модели для больших языковых моделей ставит во главу угла идею о том, что такие модели способны строить внутренние представления, или «карты» сложных структурных объектов, исходя из анализа последовательностей данных. В случае с Отелло это означает, что модель может реконструировать конфигурацию игрового поля и определить, какие ходы допустимы в каждом конкретном положении, руководствуясь лишь текстовой историей завершенных или текущих партий.
Данное предположение радикально отличается от традиционного взгляда, согласно которому языковые модели лишь статистически прогнозируют следующий элемент последовательности без глубинного понимания правил или смысла. В своем исследовании команда из Дании обучила семь различных языковых моделей, включая GPT-2, T5, Bart, Flan-T5, Mistral, LLaMA-2 и Qwen2.5, с целью предсказания последующих ходов в партиях Отелло. Особенность эксперимента заключалась в использовании двух различных наборов данных: один включал около 140 тысяч реальных игр, второй — миллионы синтетически сгенерированных партий. Применение последних позволило проверить, насколько обучение на искусственных данных влияет на способность моделей усваивать внутренние закономерности и структурные связи.
Одной из главных инноваций, которую реализовали исследователи, стал метод представления и сравнения внутренних карт, формируемых моделями. Специальные инструменты репрезентационного выравнивания дали возможность напрямую оценить, насколько внутренние «видения» доски у различных моделей совпадают друг с другом и соответствуют реальной структуре игры. В отличие от предыдущих попыток, таких как проект OthelloGPT, которые имели ограничения в интерпретации результатов, данное исследование предложило более строгий и прозрачный анализ способностей моделей. Результаты показали, что все модели не только научились эффективно прогнозировать ходы, но и формировали схожие внутренние представления о пространственной структуре игровой доски. Эти представления включали в себя понимание расположения клеток, а также правил захвата и переворота фишек, что свидетельствует о глубоком абстрактном понимании механики игры.
В частности, при обучении на большом объеме реальных данных показатели ошибок в предсказаниях упали ниже шести процентов для большинства моделей, тогда как на синтетических данных с увеличением объема наблюдалось снижение ошибок с приблизительно пятидесяти процентов на 2000 партиях до менее 0,1 процента на всём наборе данных. Интересно, что модели, предварительно обученные на большом корпусе языковых данных, такие как Flan-T5 и LLaMA-2, не всегда демонстрировали превосходство над моделями, изначально не имевшими языковой подготовки. Это стало сильным аргументом в пользу идеи, что для формирования внутренней модели игры Отелло достаточно информации о ходах, а не знания естественного языка. Таким образом, данный эксперимент бросает вызов общепринятому мнению о том, что языковым моделям нужен широкий контекст и разнообразные данные для абстрактного понимания «миров» вне текстового плана. По мнению авторов исследования, Юфея Юаня и Андерса Сегора, полученные выводы имеют важное значение не только для разработки более совершенных ИИ-систем, но и для фундаментальных вопросов в философии искусственного интеллекта, таких как проблема символической привязки.
Символическая привязка подразумевает установление связи между формальными символами и реальными, осмысленными объектами мира. В контексте игры Отелло символы обозначают конкретные позиции на доске, и способность модели ассоциировать их с конкретным пространственным расположением является свидетельством решения части этой сложной проблемы. Эксперимент также опровергает стереотип о том, что игровые пространственные задачи требуют визуальной информации. Доказано, что даже последовательности ходов, записанных в текстовом формате, могут дать языковой модели достаточно «материала» для построения сложных пространственных представлений. Это важная веха для ИИ, поскольку многие реальные задачи требуют оперирования визуальной, пространственной, а зачастую и многомодальной информацией.
Данный научный прогресс грозит изменить взгляд на возможности и ограничения больших языковых моделей. Если подобные внутренние мировые модели действительно формируются, это может означать, что ИИ способен развивать некую аналогию понимания, аналитику структур и отношений, выходящую далеко за рамки простого запоминания и воспроизведения шаблонов. Более того, это фундаментально приближает технологии к решению задач сознания и осмысленного поведения машин, обостряя философские дебаты о природе интеллекта. Более глубокое понимание механизмов построения таких мировых моделей может повлиять на развитие новых алгоритмов обучения и архитектур, способных переносить приобретённые знания и абстракции в различные сферы. Например, успешное обучение без визуальных данных в игре Отелло поднимает вопрос о возможности обучения языковых моделей абстрактному мышлению в других задачах, где важна пространственная логика и последовательное принятие решений.
