В последние годы исследователи в области нейронаук и психологии всё активнее используют методы искусственного интеллекта для моделирования сложных когнитивных процессов. Одним из прорывных направлений стала разработка компактных рекуррентных нейронных сетей (РНС), которые способны моделировать и раскрывать стратегии принятия решений и обучения у живых существ. Эти маленькие, но мощные сети, обладая всего несколькими единицами, превосходят по точности классические когнитивные модели, сохраняя при этом интерпретируемость и обеспечивая новые инсайты в динамику поведения. Традиционные когнитивные модели, такие как байесовское выведение и алгоритмы обучения с подкреплением, долгое время считались основой объяснения адаптивного поведения. Их простота и небольшое число параметров делают их удобными для теоретического анализа, однако часто возникает проблема недостаточной гибкости модели, что приводит к необходимости многочисленных ручных подгонок и субъективных предположений исследователей.
В итоге классические подходы нередко не справляются с описанием тонких вариаций поведения и могут упускать глубинные закономерности. Применение рекуррентных нейронных сетей в моделировании адаптивного поведения было известно давно, однако традиционно для достижения высокой точности применялись большие сети с сотнями параметров. Хотя такие модели обладали высокой прогностической силой, их сложность делала интерпретацию получаемых результатов проблематичной — «чёрный ящик» нейросети затруднял понимание, какие именно когнитивные процессы были захвачены. Вызов состоял в том, чтобы создать модели, сочетающие гибкость и интерпретируемость. Исследование, проведённое Li Ji-An, Marcus K.
Benna и Marcelo G. Mattar, предложило решение: использовать очень маленькие рекуррентные нейронные сети, состоящие из одного-четырёх скрытых нейронов. Такой размер позволяет сохранить способность к моделированию сложной динамики обучения и принятия решений, при этом делая анализ внутренних состояний сети доступным благодаря методам теории динамических систем. Данные для анализа брались из шести широко изученных задач обучения с подкреплением, которые выполнялись как животными (обезьянами, мышами, крысами), так и людьми. Задачи включали варианты классического реверсивного обучения, двухступенчатого выбора с вероятностным переходом в состояния, а также их расширения с изменяющейся структурой переходов.
Стоит отметить, что несмотря на небольшие размеры сети, tiny RNN успешно предсказывали выбор участников экспериментов с большей точностью, чем классические модели с равной сложностью. Они также повторяли ключевые поведенческие паттерны, что подтверждало их адекватность. За счёт ограниченного числа скрытых единиц и обучающихся параметров, они остаются легко поддающимися интерпретации через построение фазовых портретов и векторных полей, отражающих эволюцию внутренних динамических переменных в зависимости от предыдущих действий и вознаграждений. Один из главных успехов подхода — раскрытие новых когнитивных стратегий, ранее не замеченных. Например, было обнаружено, что скорость обучения не является постоянной величиной, как предполагалось в классических моделях, а зависит от текущего состояния сети и влияет на адаптацию выбора.
Также выявлены проявления устойчивости к изменению выбора («упорство»), которые меняются в зависимости от вознаграждения и текущей внутренней динамики. Появились новые типы обновления ценности действий и предвзятости в предпочтениях, что расширяет имеющиеся теории поведения. Современные методы обучения tiny RNN требуют сравнительно больших объёмов данных для эффективного обучения. Это становится вызовом при работе с человеческими участниками, где экспериментальное время ограничено. Для решения проблемы была предложена техника «передачи знаний» — знание distillation, когда большая сеть, обученная на данных многих субъектов, служит учителем для обучения компактных моделей на данных отдельных участников.
Таким образом достигается баланс между данными и точностью модели. Анализ моделей с одним скрытым элементом опирается на интерпретацию логитов предпочтений действий и их изменений, отображая динамику процесса принятия решения в форме, аналогичной механическим системам, с фиксированными точками равновесия и устойчивость которых можно изучить. Для более многомерных моделей применяется метод регрессии динамики, что позволяет выявлять взаимосвязи между внутренними переменными и выявлять ключевые факторы, определяющие поведение. Применение разработанной методики к искусственным агентам, обученным решать задачи методом метаобучения (meta-RL), раскрывает, что даже самые совершенные искусственные стратегии не всегда совпадают с классическими теориями, и имеют собственные особенности в формировании выбора, подтверждая универсальность инструмента tiny RNN для анализа как биологических, так и искусственных систем. Итоги этой работы открывают перспективы для расширения методов когнитивного моделирования с использованием небольших, но мощных и прозрачных моделей машинного обучения.
Tiny RNN способны служить мостом между биологическими процессами и их искусственной имитацией, обладая гибкостью в описании поведения и одновременно предоставляя интерпретируемые механистические объяснения. В будущем подобные подходы могут быть применены к более сложным моделям когнитивных функций, таким как восприятие, память и планирование, а также в области вычислительной психиатрии для выявления индивидуальных различий и паттернов дисфункций. Компактные рекуррентные сети могут способствовать пониманию нейронных механизмов, лежащих в основе сложного поведения, а также оптимизации методов обучения в искусственном интеллекте. Таким образом, tiny RNN представляют собой важную веху в развитии когнитивных моделей, сочетая точность, гибкость и прозрачность, что способствует более глубокому и точному пониманию процесса принятия решений у животных и человека.
