Первый нейросетевой оценщик для Scrabble: прорыв в игре с неполной информацией

Технология блокчейн

Игра Scrabble на протяжении десятилетий считается одной из самых глубоких и сложных настольных игр, сочетающих элементы стратегии, лингвистики и вероятности. Несмотря на распространенность и популярность, полностью решенная математически версия Scrabble отсутствует из-за огромного пространства состояний и элементарной случайности в выборе букв. Scrabble — это игра с неполной информацией, где игроки не видят запасные буквы соперника и не могут предсказать все ходы наперед. Однако с развитием вычислительных мощностей и методов искусственного интеллекта появился шанс существенно продвинуться в анализе и оценки позиций на доске, что особенно интересно для профессиональных игроков и разработчиков интеллектуальных помощников. В центре недавних инноваций стоит создание первого сверточного нейронного оценщика (CNN) для Scrabble, представленного Цезарем Дель Соларом, который открыл новую страницу в развитии компьютерного анализа таких игр с неполной информацией.

Создание этого мерила стало возможным благодаря впечатляющему прогрессу в областях нейросетей, увеличению объемов качественных данных и использованию современных GPU для обучения моделей глубокого обучения. Главная цель CNN-модели — динамичная оценка позиций на доске и предсказание перспективности ходов не исходя из фиксированных таблиц значений или упрощенных эвристик, как это практикуется в большинстве классических Scrabble-ботов. Работа началась с генерации большого корпуса данных, состоящего из миллионов сыгранных партий через автоплей Macondo — систему, позволяющую моделировать быстрое одновременное прохождение многих партий между существующими ботами. Каждая партия логировалась по ходам, включая расположение букв на доске, конфигурацию допустимых ходов (cross-checks), состояние буквеного мешка и текущий набор игрока. Особенностью такого подхода стала качественная обработка информации о доске в виде многоуровневых матриц, в которых каждая буква, а также бонусные клетки и ситуации с пересечением слов были представлены в формате one-hot encoding.

Данные составляли обширный тензор пространством 85×15×15, что позволяло нейросети воспринимать их как изображение с множеством каналов, наподобие анализа визуальных сцен. Дополнительно в обучение включались наборы числовых параметров, содержащих информацию о текущем составе букв на руках, оставшихся в мешке, результате последнего хода, значениях очков и перспективах по запасу ходов. Такая архитектура обеспечивала нейросети возможность понимать не только текущую расстановку на доске, но также учитывать вероятности появления новых букв и текущую игровую ситуацию с точки зрения очков и позиций. В основе модели лежала сверточная нейросеть с резидуальными блоками, по аналогии с AlphaGo Zero, что эффективно захватывало пространственные и временные взаимосвязи между буквами, их позициями и потенциальными ходами. Особенную роль играл этап глобального среднего объединения, который позволял свести пространственные признаки к компактным векторным представлениям, а вместе со скалярными параметрами объединялся в многослойный перцептрон для окончательной оценки успешности хода в диапазоне от -1 до 1.

Такой подход уходил далеко за рамки классических эвристик, основанных исключительно на подсчете очков и оценке оставшегося “очкового запаса” (leave value), позволяя модели выстраивать более сложные концепции стратегии и предугадывать развитие игры. Результаты тренировок были впечатляющими, ведь уже первые модели нового нейросетевого оценщика, названного FastMLBot, могли конкурировать с лучшими статическими ботами, такими как HastyBot, который с 1980-х годов оставался одним из самых непобедимых Scrabble-ассистентов благодаря быстрому подсчету ходов по статистически выверенным таблицам оценок. FastMLBot постепенно достигал побед над HastyBot со скромным, но значимым преимуществом – около 50.1% в серии из 31 875 партий. При дальнейшем улучшении модель пересматривала параметры обучения, добавляла новые признаки и даже экспериментировала с прогнозированием значения Bogowin — вероятности победы исходя из текущего количества букв в мешке и разницы в очках, что углубляло понимание долгосрочных последствий хода.

Интересно, что модели, обученные по прогнозу разницы очков (spread), показывали худшие результаты из-за высокой шумности этой метрики, тогда как обучение по более стабильному результату – победа или поражение – давало гораздо лучшие показатели. Также в процессе развития модели экспериментировали с различными «горизонтами» — глубиной прогноза ходов, и оказалось, что оптимальный прогноз находился на уровне около 5 ходов, что соответствовало балансу между детализацией и шумом в позиции. Одним из ключевых достижений было использование стратегии мягкого максимума (softmax bot) для создания обучающего набора данных, что позволяло боту избегать жестких правил и позволять себе «случайные» менее оптимальные ходы с определенной вероятностью, наподобие человеческой неопределенности и ошибок. Это способствовало формированию более реалистичного и разнообразного игрового опыта, что благоприятно сказывалось на силе нейросети. Важная часть работы включала оптимизацию процесса инференса — запуска модели для оценки множества ходов в реальном времени.

Первая попытка использования ONNX-модели, интегрированной в Golang-деятельность, была слишком медленной (около секунды на 15 позиций), но внедрение серверных решений NVIDIA Triton значительно увеличило скорость оценки — до нескольких сотен тысяч ходов в минуту, открывая возможности для применения нейросетевого бота в онлайн-играх и спарринге с живыми игроками. Несмотря на относительную сложность и ресурсоемкость, данный подход стал первой реальной попыткой поднять планку качества статического оценщика в Scrabble и самым значимым прорывом, созданным с использованием глубокого обучения в этой игровом направлении. Если рассмотреть плюсы такого нейросетевого оценщика, стоит отметить глубокое понимание неявных стратегий, которые остаются недостижимыми классическими методами. Например, NeuralNet предпочитал более плотные и закрытые варианты ходов, которые создавали менее опасные доски для себя и усложняли жизнь сопернику. Примеры из игр показывали, что бот выбирал хитрые ходы, уходящие от традиционного максимума по очкам в угоду лучшей позиции для будущих ходов, что свидетельствует о все более «человеческом» стиле игры.

Впрочем, нейросеть не идеальна: несмотря на явные улучшения, FastMLBot пока что показывает преимущество лишь немного выше 50%, и значительный прогресс еще предстоит. Одна из главных сложностей — случайность в Scrabble, которая затрудняет закрепление абсолютного долгосрочного превосходства. В отличие от шахмат и го, где можно рассчитать оптимальные ходы с высокой степенью уверенности, Scrabble содержит элемент «удачи» в наборе букв, и лучшие игроки мира теряют значительное количество партий даже с меньшими ошибками. Тем не менее, новые возможности уже дают простор для будущих исследований: интеграция NNUE-архитектур, которые доказали себя в шахматах и могут работать быстро на CPU, позволит существенно ускорить работу бота. Подключение большего количества данных из профессиональных игр и турниров, в том числе игр между лучшими игроками и другими ИИ, улучшит качество модели и позволит получать более надежные прогнозы.

Открытым остается путь интеграции нейросетевого оценщика в Monte Carlo Tree Search, тем самым увеличивая мощность бота BestBot, который сегодня выигрывает около 60% игр против HastyBot, но работает чрезвычайно медленно. Руководствуясь опытом AlphaGo, подобный симбиоз статического оценщика на основе CNN и сложного поискового алгоритма мог бы привести к созданию первого в мире по-настоящему сильного Scrabble-бота нового поколения. Еще одной важной задачей является адаптация моделей к разным лексиконам и правилам Scrabble — на данный момент нейросеть обучалась на North American NWL23, и требуется расширение на другие популярные словари и языки. Распространение таких разработок будет способствовать популяризации интеллектуальных игр и привлечет новых игроков к Scrabble, расширит аудиторию онлайн-турниров и улучшит возможности анализа для обучающихся. Таким образом, внедрение сверточных нейронных сетей в область Scrabble знаменует новый этап в развитии компьютерных игр с неполной информацией.

Это создает мост между теорией и практикой, открывает двери для новых методов обучения и анализа, и ставит перед нами не только вызов, но и перспективу революционизировать понимание и мастерство игры. По мере совершенствования вычислительных технологий и увеличения объемов качественного игрового материала, нейросетевые оценщики обещают стать неотъемлемой частью будущих интеллектуальных систем, способных не просто играть, но учить нас глубокому и многогранному анализу даже в самых запутанных ситуациях. Взгляд в будущее показывает, что развитие искусственного интеллекта в Scrabble, начиная с этой первой модели сверточной нейросети, приведет к появлению все более сильных и адаптивных игроков-ботов, которые смогут задавать тон новой эре соревновательной игры, расширяя горизонты стратегий и глубину понимания каждого сыгранного слова.