В последние годы развитие искусственного интеллекта и компьютерного зрения значительно повлияло на способы создания цифровых моделей окружающего мира. Одним из самых впечатляющих достижений стала технология, позволяющая создавать интерактивные трехмерные модели комнат всего лишь на основе короткого видео, снятого обычной камерой смартфона. Разработка команды исследователей из Корнельского университета получила название DRAWER — Digital Reconstruction and Articulation With Environment Realism. Эта технология способна автоматически преобразовывать видео, снятое, например, в кухне или офисе, в фотореалистичную и интерактивную 3D-модель окружающего пространства, предлагая поистине уникальный пользовательский опыт. В интерактивном цифровом пространстве можно не просто рассматривать комнату, но и открывать шкафы, ящики, взаимодействовать с объектами, словно в реальной жизни.
Данный подход имеет широкий спектр практического применения, начиная с создания новых реалистичных видеоигр и заканчивая обучением роботов выполнять бытовые задачи. Одним из ключевых аспектов разработки является простота получения исходных данных. Для создания цифрового двойника комнаты не требуется специальное высокотехнологичное оборудование: достаточно нескольких минут видео, отснятых обычным смартфоном. Такое решение значительно снижает входной барьер для пользователей и позволяет легко масштабировать технологию для массового применения. Метод объединяет несколько современных AI-моделей, каждая из которых выполняет свою функцию.
Одна из моделей отвечает за генерацию выразительных, привлекательных изображений со всевозможными ракурсами. Другая – ориентирована на точное воссоздание геометрии и габаритов комнаты, благодаря чему объемные объекты имеют правильные размеры и пропорции. Кроме того, в систему интегрирован модуль восприятия, способный автоматически распознавать подвижные части сцены — дверцы или ящики, определять их особенности движения, например, как должна открываться кухонная дверь холодильника. Также используется специальная модель, которая достраивает внутренности закрытых объектов, например, наполняет выдвижные ящики, показывая их содержимое. Интеграция всех этих компонентов в единую, эффективно работающую систему была по-настоящему сложной задачей для исследователей.
Конечный продукт способен не только воспроизводить пространство, но и работать в режиме высокой интерактивности, что особенно ценно для игровых приложений. Образцы, созданные с помощью DRAWER, могут свободно интегрироваться с игровыми движками, что позволяет создать динамичные сцены, где пользователь взаимодействует с обычным бытовым окружением. В качестве демонстрации исследователи создали игру, в которой действия пользователя — например, метание шариков — вызывают физические эффекты в комнате. Объекты падают, сталкиваются и ведут себя естественно, подчеркивая реализм цифровой среды. Другой важный аспект применения технологии связан с робототехникой.
Виртуальные копии реальных комнат пригодны для так называемого real-to-sim-to-real transfer — процесса, в ходе которого робот обучается проводить задачи в симуляции, максимально приближенной к реальной обстановке, а затем переносит полученные навыки в физический мир. Это снижает затраты и риск повреждения оборудования, расширяет возможности программирования роботов для работы в доме или на производстве. В рамках экспериментов команда виртуально обучила роботизированную руку работать с цифровой кухонной моделью и демонстрировала успешное выполнение заданий – например, уборку и размещение предметов в ящиках даже после переноса на реальный прототип. Создатели технологии прогнозируют, что в ближайшем будущем человек сможет загрузить собственное видео интерьера дома, получить готовую цифровую копию и использовать её для быстрой настройки и обучения домашних роботов еще до их прибытия. Это обеспечит экономию времени и ресурсов, а также повысит качество работы автономных помощников.
Несмотря на впечатляющие достижения, проект DRAWER пока ограничен пространством одной комнаты и жесткими объектами. Следующим этапом является расширение работы на целые здания, а также внедрение поддержки мягких, деформируемых материалов, таких как ткани или хрупкие поверхности, поддающиеся разрушению. Это откроет еще больше возможностей для создания универсальных цифровых двойников, охватывающих весь спектр элементов окружающей среды. Кроме жилых помещений технология может стать основой для смежных сфер: виртуального проектирования городов, оптимизации сельскохозяйственных угодий и планирования инфраструктурных объектов на основе точных реалистичных 3D моделей. В конечном итоге команда стремится создать цифровые двойники всего окружающего мира, что по сути станет важнейшим шагом на пути к развитию метавселенной и более совершенным формам взаимодействия человека с цифровым пространством.
Благодаря поддержке крупных технологических компаний, научных фондов и государственных агентств исследование активно развивается. Участники проекта – специалисты из Корнельского университета, Университета Иллинойса и Вашингтонского университета – объединяют опыт в области ИИ, робототехники и компьютерного зрения, обеспечивая комплексный подход к решению задачи. Возможности, открываемые такими технологиями, обещают радикально изменить наш подход к созданию интерактивных виртуальных миров и интеграции роботов в повседневную жизнь. Возможность превратить обычное видео в полноценную, управляемую 3D-сцену демонстрирует, как современные AI-инструменты меняют наше восприятие реальности, стирая грани между физическим и виртуальным пространством.
