В последние годы искусственный интеллект, особенно генеративные модели, прочно вошли в повседневную жизнь, меняя представления о творчестве, автоматизации и обработке информации. Недавно известный блогер Скотт Александер объявил о своей победе в долгосрочном споре, утверждая, что современные генеративные модели ИИ достигли мастерства в области композициональности, особенно в генерации изображений. Однако такая позиция вызывает немало критики и вопросов со стороны ведущих исследователей, один из которых — Гэри Маркус – ярко высказался о слабостях этого утверждения и подчеркивает важность взвешенного и объективного подхода при оценке возможностей ИИ. Чтобы понять, почему победа Александера воспринимается как вводящая в заблуждение, стоит разобраться в сути спора, технических аспектах композициональности и особенностях современных моделей ИИ. Композициональность — одна из фундаментальных задач в искусственном интеллекте и когнитивной психологии.
Она обозначает способность системы понимать и создавать сложные объекты или ситуации, объединяя отдельные части в нечто целостное, осмысленное и правильно структурированное. Для людей это естественный процесс: мы легко можем понять описания, требующие присоединения различных элементов по определенным правилам, будь то язык, изображение или форма поведения. В контексте ИИ такой навык означает, что система способна не просто запомнить или сгенерировать отдельные фрагменты, но и объединить их в последовательность или структуру, соответствующую исходным условиям и логике задачи. Спор Александера сводится к тому, что он сделал прогноз несколько лет назад — к 2025 году генеративные модели ИИ смогут успешно справляться с определенным набором заданий, связанных с композициональностью. Сегодня он заявляет, что его ставка сыграла и что можно считать, будто ИИ достиг «мастерства» в этой области.
На первый взгляд это звучит убедительно: действительно, на некоторых публично известных тестовых примерах новые модели, такие как GPT-4o, показывают достойный результат. Но при более глубоком анализе обнаруживается множество существенных проблем. Гэри Маркус, эксперт и критик современных методов машинного обучения, отмечает, что успех на ограниченном наборе заранее известных тестов не может служить доказательством полного и универсального владения композицией. Система может выучить конкретные примеры, включая публично доступные задачи, которые, возможно, вошли в тренировочные данные, или на которые специально настраивались методы обучения. Это создает иллюзию успеха, которая рушится при проверке на более разнообразных и новых задачах, где требуется истинная генерализация и понимание принципов соединения частей.
Для иллюстрации Гэри приводит собственные эксперименты с GPT-4o, где при попытках создания изображения с заданным количеством и типами персонажей, оснащенных определенными особенностями, возникают ошибки — лишние руки, неправильное количество голов, искажения в деталях. Более того, ИИ не способен точно «осознать» свои ошибки — система неверно оценивает выданный результат, что указывает на острый дефицит понимания и рефлексии над собственным выводом. Подобные проблемы встречаются не только в генерации изображений, но и в задачах, связанных с распознаванием частей целого, правильным описанием сложных структур и более абстрактных тестах, оцененных исследовательским сообществом. Это показывает, что вина не в отдельных ошибках, а в фундаментальной архитектуре и алгоритмах, которые пока не способны обрабатывать композициональность на уровне, сравнимом с человеческим умом. Не менее важным замечанием Маркуса является опасность попадания подготовленных публичных задач в обучающую выборку моделей.
Поскольку современные модели обучаются на огромных объемах данных, включая тексты и изображения из открытых источников, многие популярные тесты и промты становятся частью тренировочного материала. Это искажает реальную оценку способностей — система «учится» решать именно эти задачи, не вырабатывая при этом общей компетенции, что часто называется проблемой «подгонки» под данные. Психология как область изучения мышления человека традиционно подчеркивает, что выводы по одной-единственной попытке или ограниченному набору проверок не отражают сути когнитивной способности. Работы таких ученых, как Джон Р. Андерсон, еще в 1970-х годах показали, что одна и та же наблюдаемая реакция может объясняться разными внутренними механизмами.
Это значит, что успешное выполнение нескольких тестов на композициональность не доказывает, что ИИ понимает их глубинный смысл или умеет применять принцип во всех новых задачах. Все эти аргументы сводятся к одной центральной критике — поспешному выводу Александера, который напрямую связывает ограниченный успех с «мастерством» в области композициональности. Это классический пример логической ошибки, называемой fallacy of composition — предположение, что если что-то верно для части, оно верно и для целого. Несмотря на реальные шаги вперед, заявлять о полной победе и универсальном решении — чрезмерно и неверно. Важно отметить, что генеративные модели, включая продвинутые GPT-4o и улучшенные версии DALL-E, действительно показывают заметный прогресс по сравнению с более ранними системами.
Порой они способны успешно реализовывать достаточно сложные инструкции, генерируя изображения с конкретными деталями и взаимодействиями объектов, что раньше казалось невозможным. Однако пока это успехи на эмпирическом уровне, которые не гарантируют устранения фундаментальных ограничений. Полностью решить проблему композициональности — значит научить ИИ не просто воспроизводить паттерны из уже известных случаев, а иметь глубокое понимание частей и их отношений, способных к гибкой генерализации и творческому применению в новых ситуациях. Это крайне сложная задача, которая требует интеграции знаний из психологии, теории познания и новых архитектур машинного обучения. Обсуждение между Александером и Маркусом отражает важный конфликт в современном развитии ИИ — с одной стороны, желание радоваться достижениям и постоянному улучшению технологий, с другой стороны — необходимость сохранять критическое мышление и честно оценивать текущие ограничения и незавершенность решений.
Такой подход помогает не только правильнее интерпретировать результаты, но и формировать рациональные ожидания по развитию отрасли. Предлагаемый Гэри Маркус вызов Александеру на новую ставку с более жесткими условиями подчеркивает стремление к более серьезным и объективным испытаниям, выходящим за рамки отдельных, заранее известных задач. Это приглашение к созданию более надежных метрик и тестов, которые смогут выявить реальный уровень понимания композициональности в моделях ИИ. Итогом данного спора становится понимание, что пока современные генеративные модели не достигли полной зрелости в плане композициональности. Их успехи значительны и впечатляющи, но они все же ограничены.
Это открывает большие возможности для дальнейших исследований и инноваций, направленных на создание систем с настоящим чувством структуры, контекста и взаимосвязей — качеств, необходимых для того, чтобы ИИ стал по-настоящему универсальным и гибким помощником в самых разных сферах. Таким образом, победа в конкретном споре не должна восприниматься как абсолютный триумф. Настоящее мастерство требует гораздо большего — постоянного развития, критического анализа и признания существующих недостатков. Только такой подход позволит двигаться вперед в создании по-настоящему интеллектуальных систем, способных к глубокому пониманию и творчеству.
