Современное развитие искусственного интеллекта неразрывно связано с пониманием того, как именно модели учатся и принимают решения. Механистическая интерпретируемость — направление, которое стремится открыть «чёрный ящик» машинного обучения и подробно описать внутренние алгоритмы и процессы в моделях. Недавнее исследование Омара Айюба и его коллег, посвящённое минималистской модели трансформера, обученной игре Крестики-Нолики, служит ярким примером подобных прорывов. Они смогли обнаружить, каким образом простой трансформер способен не только предсказывать легальные ходы, но и отслеживать идентичность игроков и состояние игры, демонстрируя скрытые слои понимания и вычислительной логики даже в ограниченной среде. Крестики-Нолики традиционно считаются примитивной игрой с ограниченным числом ходов и состояний.
В полном объёме она имеет не более чем 255168 возможных траекторий ходов, что делает её привлекательной для экспериментов с малыми ИИ-моделями. В исследовании использовалась однослойная архитектура трансформера с восемью головами внимания и небольшой размерностью в 32, что является относительно скромным по современным меркам. Тем не менее, модель под названием AlphaToe достигла впечатляющих результатов, гарантируя выход только легальных ходов и корректно завершая игру с определением победы, поражения или ничьи. Используя специальную схему токенизации, в которой 0–8 обозначают позиции на поле, 9 означает конец игры, а 10 — её начало, команда смогла хорошо представить игровую последовательность для трансформера. Принцип работы трансформера базируется на представлении каждого токена через контентные и позиционные эмбеддинги — векторы, содержащие информацию о том, что именно происходит и когда в последовательности.
Контентные эмбеддинги кодируют, к примеру, занятость клетки, а позиционные — время хода и, как выяснилось, имеют дополнительный смысл. Эти векторы не просто простые числа, а сложные объекты, содержащие признаки, которые модель учится использовать для анализа и принятия решений. Особенно интересно, что позиционные эмбеддинги оказались носителями информации об идентичности игрока, что выходило за рамки изначального замысла. Обучение AlphaToe велось на предсказании следующего хода с использованием вероятностных меток, что позволяет модели аккуратно распределять вероятности между легальными ходами и постепенно ужесточать предсказания по мере развития партии. Такой подход помог избежать предвзятости к одному варианту и дал возможность адекватно интерпретировать неоднозначные игровые моменты.
За счёт внимания в трансформере модель умела учитывать всю историю игры, не повторять уже занятые клетки, а также прогнозировать финал. Одной из ключевых находок стала так называемая модель поведения «Не повторяй ход», которая проявляется в логитах — числах, из которых рассчитывается вероятность выбора хода. Логиты для позиций, уже занятых ходами, резко уменьшаются, что исключает ошибочные повторения. При этом внимание в трансформере оказалось ответственным за «запоминание» уже сделанных ходов: отключение голов внимания лишало модель этой способности, что подтверждало роль конкретных компонентов архитектуры. Ещё более увлекательной стала выявленная «шахматная» структура распределения логитов, делящая ходы попеременно по типу игроков.
Этот узор отражается в том, как разные головы внимания фокусируются на ходах конкретного игрока, демонстрируя своеобразный механизм отслеживания личностей в игре. Анализ сотни и более игровых партий показал, что подобная селективность внимания появляется лишь после пятыго хода и исчезает в тех случаях, когда игра подходит к завершению. Это указывает на то, что модель осознаёт момент, когда стоит уделять особое внимание действиям конкретного игрока, что критично для определения исхода. Эксперты исследовали взаимодействие позиционных эмбеддингов и весовых матриц трансформера, выявив их внутреннюю структуру с помощью методов снижения размерности и сингулярного разложения. Матрицы запросов и ключей внимания (Query и Key) преобразуют позиционные эмбеддинги, формируя вычислительные признаки, которые разделяют ходы на два кластера, соответствующие двум игрокам.
Для ходов, сделанных после четвёртого, эти признаки ярко выражены — модель учится выделять «игрока первой позиции» и «игрока второй позиции», что особенно важно при оценке выигрыша, так как поздние ходы обычно определяют победителя. Применение сингулярного разложения позволило выделить главную ось — «ось идентичности игрока», вдоль которой позиционные эмбеддинги расположены совершенно по-разному. Позиции, принадлежащие первому игроку, имеют положительное значение проекции, а второго — отрицательное. Ранние ходы слабо коррелируют с этой осью, объясняя, почему внимание до пятого хода распределялось равномерно. Такое линейное разделение позиций не только подчеркивает сложность, заложенную в ostensibly простой игре, но и демонстрирует силу трансформера в выявлении скрытых закономерностей.
Отдельно стоит упомянуть динамику обучения: ранние победные ходы, преимущественно заканчивающие игры на восьмом ходу, первыми приобретают выраженность по оси игрока. Падение функции потерь и улучшение качества предсказаний после примерно 350 эпох однозначно коррелируют с формированием этих внутренних представлений. По мере тренировки последующие поздние ходы (5, 6 и 7) также начинают чётко разделяться, отражая накопление понимания модели о логике игры. Эксперимент с отключением внимания демонстрирует практическую значимость найденных паттернов. Трансформер сохраняет некоторые базовые навыки через свой MLP, но утрачивает способность отслеживать весь ход партии, что приводит к ухудшению результатов и развитию неправильной стратегии.
Это подчёркивает, что механизмы внимания, даже в одном слое, способны решать сложные задачи, такие как разделение игроков и их ходов по ролям. Выводы данного исследования открывают перспективы намного шире, чем просто изучение минимальной модели для крестиков-ноликов. Они показывают, что даже в достаточно простых игровых средах современные архитектуры машинного обучения могут извлекать сложные, многоуровневые вычислительные алгоритмы. Они учатся классифицировать информацию, выделять аспекты значимости и адаптировать поведение на основе контекста — всё это, несмотря на изначально предельно ограниченную цель «выходить с легальными ходами». Данная работа является примером того, как инструменты механистической интерпретируемости помогают проникнуть в внутренний мир моделей и понять, каким образом они воспринимают и преобразуют информацию.
Полученные знания могут применяться не только для повышения прозрачности ИИ, но и для создания новых архитектур, повышения безопасности и разработки более эффективных систем. Модель AlphaToe служит своеобразным лабораторным образцом, демонстрирующим мост между теоретическими исследованиями и практическими приложениями искусственного интеллекта. В будущем подобные подходы, опирающиеся на тщательное понимание внутренних механизмов моделей, позволят создавать ИИ с более предсказуемым, управляемым и интерпретируемым поведением. Можно ожидать, что алгоритмы, выявленные в игрушечных задачах, станут основой для масштабных и сложных систем, которые будут играть ключевую роль в самых разных областях — от медицины и науки до промышленности и искусства. Таким образом, исследование определения идентичности игроков и механики выигрыша в минималистском трансформере для Крестиков-Ноликов демонстрирует, насколько мощной и тонкой может быть вычислительная структура, возникающая даже при простых условиях обучения.
Оно открывает дверь к глубокому пониманию природы искусственного интеллекта, превращая кажущиеся простыми модели в источник сложных, элегантных и по-настоящему умных алгоритмов.
