В последние годы область искусственного интеллекта (ИИ) переживает беспрецедентный бум инвестиций и исследований, особенно в направлении больших языковых моделей (LLM) и генеративных систем. Несмотря на впечатляющие достижения, многие эксперты, включая лауреата Тьюринг-2018 Янна Лекуна, отмечают фундаментальные ограничения текущих подходов. JEPA — Joint Embedding Predictive Architecture — представляет собой новую архитектуру, предлагающую альтернативный взгляд на построение систем с человеческим уровнем интеллекта и расширенную концепцию предсказания будущих состояний мира на основе самообучения и энергооснованных моделей. Одной из ключевых проблем современных языковых моделей является феномен галлюцинаций — когда система генерирует правдоподобную, но некорректную информацию. Эта особенность связана с тем, что модели оптимизируются на вероятность появления следующего элемента, а не на фактическую достоверность.
Кроме того, текущие архитектуры ограничены в способности к планированию и комплексному рассуждению. Например, автопилоты современных автомобилей, несмотря на вложение миллиардов долларов и колоссальные массивы данных, не способны достичь уровня человеческого водителя, который обучается всего за несколько десятков часов. Понимание и внедрение «здравого смысла» — сложной и многогранной способности быстро адаптироваться к новому контексту и избегать очевидно неправильных действий — является наиважнейшим направлением развития ИИ. Лекун подчеркивает, что перед нами стоит не просто проблема сбора больших объемов данных, но и вопрос формирования адекватных моделей мира, которые позволят системам учиться и планировать на основе ограниченного, часто неполного опыта. В основе архитектуры JEPA лежит идея о построении предсказательных моделей не в явном, сенсорном пространстве, а в скрытом многомерном пространстве представлений.
Система работает с «встраиваниями» текущих и будущих состояний, что значительно уменьшает размерность задачи и позволяет включать латентные переменные для учёта неопределённости и множественности вариантов развития событий. JEPA интегрирует принципы энергооснованных моделей (EBM), где энергия представляет собой уровень несоответствия между текущим состоянием и предсказанным. Обучение направлено на снижение энергии для возможных, логичных исходов и повышение её для невозможных или маловероятных сценарием. Такой подход отличается от традиционных генеративных методов, которые пытаются напрямую смоделировать вероятное следующее состояние мира. Ещё одной важной новацией является иерархическая структура H-JEPA, которая разделяет работу системы на уровни абстракции.
Нижний уровень отвечает за близкое по времени и детальное предсказание, а верхний обрабатывает длительные временные промежутки и более общие концепции. Эта мультиуровневая организация близка к человеческим способам мышления, где детали укладываются в большие смысловые блоки. Особое внимание в концепции LeCun уделяется модулям конфигуратора и актора. Конфигуратор контролирует работу всей системы, выбирая, какие аспекты воспринимать и какие цели преследовать, обеспечивая динамическую адаптацию под разные задачи. Актор отвечает за генерацию последовательностей действий, используя предсказания мира и оценочную функцию стоимости, включающую как фиксированную внутреннюю стоимость (похожую на биологические мотивации вроде боли или голода), так и обучаемый критик, предсказывающий будущие издержки.
Такой подход позволяет системе вести продуманное планирование и применять его как для мгновенного реагирования, так и для долгосрочного стратегического мышления — аналог двух режимов мышления, известных как Система 1 и Система 2 в психологии. Реализация концепций JEPA на практике развивается благодаря экспериментам с моделями I-JEPA, V-JEPA и MC-JEPA. I-JEPA ориентирована на обучение из изображений, используя самосупервизированное обучение с трансформерами и маскированием, что позволяет предсказывать скрытые сегменты изображения на основе контекста. V-JEPA расширяет идею на видео, рассматривая видеоряд как трехмерный массив с добавленным временным измерением. Здесь также применяется маскирование, но включающее как короткие, так и длительные промежутки для улучшения обучения.
MC-JEPA вводит оценку движения через оптический поток, что добавляет способность адекватно работать с движущимися объектами и содержимым одновременно. Продолжая развитие архитектур, команда исследователей разработала V-JEPA 2, расширенную и масштабированную версию модели. Здесь увеличились размеры моделей, объемы обучающих видео и разнообразие данных, добавились методы пост-тренировки, включая выравнивание с языковыми моделями и адаптацию под задачи робототехники. Так, нейросеть стала основной частью системы управления манипулятором, использующей предиктивное планирование на основе визуальных состояний и команд. Использование прогрессивной тренировки с увеличением длительности видеоклипов позволило добиться лучшего понимания длительных временных взаимосвязей.
JEPA — не просто архитектура для представления и предсказания, но и мост между базовыми визуальными данными и высокоуровневыми целями, выраженными, например, в языковой форме. Возможность настройки целевых состояний через текстовые запросы открывает перспективы для мультизадачных интерактивных систем, которые смогут обучаться сложным навыкам, включая робототехнические манипуляции. Подходы JEPA представляют собой ответ на текущие вызовы в ИИ, связанные с недостатком модуля прогнозирования, ограничениями планирования и отсутствием прочных моделей мира. Концепция самосупервизированного обучения с предсказаниями в пространствах признаков сочетает теоретическую элегантность и практическую применимость. При этом пути развития JEPA далеки от завершения.
Важным остается расширение модальностей данных за пределы визуальных (например, внедрение аудио и других сенсорных каналов), увеличение разрешения и длительностей видеопоследовательностей, улучшение обучающих наборов и методов оценки. Создание более глубоких уровней иерархии, способных обрабатывать переменное число абстракций, а также освоение навыков комплексного, многократного планирования остаются приоритетами для исследований. Текущие исследования демонстрируют, что JEPA обладает потенциалом стать фундаментальной архитектурой для построения автономных интеллектуальных агентов, способных быстро учиться, адаптироваться и принимать решения в сложном, непредсказуемом мире. Сочетая принципы предсказательного моделирования, энергооснованных подходов и иерархической структуры, JEPA приближает нас к системе ИИ с уровнем восприятия и мышления, подобным человеческому. В конечном итоге JEPA предложит новые решения в областях робототехники, компьютерного зрения, естественного языка и мультизадачных систем.
Она откроет двери для создания более универсальных, надежных и безопасных ИИ-помощников, способных взаимодействовать с окружающей средой, понимать её и предсказывать будущее. В этой работе, опирающейся на глубокие теоретические основы и практические эксперименты, можно рассматривать новое поколение искусственного интеллекта, меняющего наше представление о разумных машинах.
