Современные технологии все активнее интегрируются в повседневную жизнь, что требует улучшения методов взаимодействия между пользователем и программным обеспечением. Особенно актуальна задача автоматизации работы с графическими интерфейсами пользователя, или GUI — основой множества приложений, начиная от ОС и заканчивая мобильными устройствами. Одной из ключевых проблем здесь является визуальное позиционирование — точное определение и выбор элемента интерфейса, с которым необходимо взаимодействовать. Традиционные методы опираются на координаты экрана, однако они имеют множество ограничений, от которых не застрахованы и самые продвинутые системы. Именно в этой области на помощь приходит инновационное решение GUI-Actor, предлагающее концепцию координатно-свободного визуального позиционирования для GUI-агентов.
Координатно-свободное позиционирование, внедряемое в GUI-Actor, значительно отличается от классических подходов. Традиционные алгоритмы действуют через генерацию точных экранных координат в виде текстовых токенов (например, x=…, y=…), что создает ряд сложностей. Во-первых, такой метод вызывает слабое выравнивание между семантикой элементов и их визуальным представлением, поскольку координаты сами по себе не несут контекстуальной информации об объекте на экране. Во-вторых, успешное обучение моделей по координатной системе требует точной разметки, которая часто бывает неоднозначна и неполна. Кроме того, возникает несоответствие между уровнем детализации визуальной информации и пространством действий агентом, что приводит к снижению эффективности и точности.
Вдохновляясь естественным поведением человека при работе с цифровыми интерфейсами, команда разработчиков GUI-Actor подошла к проблеме с новой стороны. Люди при взаимодействии с интерфейсом не вычисляют точные координаты объектов, а скорее воспринимают визуальную информацию целиком, выделяя релевантные области и напрямую воздействуя на них. Эта идея легла в основу системы GUI-Actor, где вместо координат используется механизм внимания, позволяющий модели выделять наиболее значимые для взаимодействия участки экрана, соответствующие целевому элементу. Разработанная архитектура GUI-Actor базируется на языковой визуальной модели (VLM), дополненной специальным модулем — головой действия, реализуемой с помощью механизма внимания. Такой подход открывает новые возможности: агент не ограничен точечным выбором координат, а может определять сразу несколько кандидатов на целевой элемент в рамках одного прохода, что значительно повышает гибкость и пригодность модели для различных сценариев.
Множественные предложения действий могут быть переданы на последующую обработку, оптимизируя алгоритмы поиска и выбора, а также повышая надёжность работы всей системы. Для оценки и отбора наиболее релевантной области на экране к архитектуре GUI-Actor интегрирован специальный модуль — верификатор позиционирования. Он анализирует предложенные моделью регионы и выбирает наиболее вероятный для действия, дополнительно повышая точность и стабильность работы. Такой верификатор можно использовать и как отдельный компонент совместно с другими системами визуального позиционирования, что расширяет его применение в различных платформах. Эффективность модели подтверждается результатами испытаний на популярных наборах данных для визуального позиционирования GUI элементов, таких как ScreenSpot-Pro и ScreenSpot-v2.
GUI-Actor демонстрирует рекордные показатели в сравнении с классическими системами, включая модели с гораздо большими параметрами. Особенно стоит отметить версии модели с базой Qwen2.5-VL, которые достигают высоких баллов, опережая конкурентов и показывая впечатляющие результаты на неизведанных ранее разрешениях и макетах экранов, что свидетельствует о высокой степени обобщения. Особое внимание в проекте уделялось вопросам практической реализации и удобству использования. В открытом доступе находится репозиторий GUI-Actor с детальным руководством по установке, подготовке данных и обучению модели.
Разработчики обеспечивают быстрый старт работы с системой, предоставляя инструменты для оценки на различных бенчмарках и детальные примеры кода для интеграции. Такая открытость значительно ускоряет внедрение технологий в промышленность и исследовательскую практику. GUI-Actor базируется на современных достижениях в сфере искусственного интеллекта, включая использование трансформерных архитектур и моделей мульти-модального обучения, что позволяет интегрировать визуальную и текстовую информацию. В нём применяются новейшие техники оптимизации и управления памятью, что делает модель доступной для запуска на современных GPU с высокой производительностью. Внедрение таких решений оказывает прямое влияние на развитие интеллектуальных GUI-агентов, способных эффективно и гибко взаимодействовать с пользователями и программными средами.
В перспективе, концепция координатно-свободного визуального позиционирования, заложенная в GUI-Actor, открывает дорогу к новым направлениям в исследовании человеко-компьютерного взаимодействия. Она позволяет создавать агенты, которые воспринимают экран так же, как и человек, интегрируя семантическое понимание и визуальную ориентацию в одно целое. Это может привести к качественно новому уровню автоматизации в области тестирования, управления интерфейсами, а также персонализации пользовательского опыта в сложных программных продуктах. Безусловно, GUI-Actor уже сегодня меняет устоявшиеся подходы к разработке GUI-агентов, преодолевая технические ограничения и приближая искусственный интеллект к естественному восприятию интерфейсов. Учитывая текущие тренды и результаты исследований, можно ожидать, что в ближайшие годы такие системы будут становиться основой интерактивных технологий, облегчая работу с цифровыми устройствами и расширяя возможности автоматизации на всех уровнях.
Инновационный подход в GUI-Actor, основанный на отказе от жёстких координат и применении механизма внимания, безусловно заслуживает внимания специалистов и разработчиков, стремящихся создават качественный и удобный пользовательский опыт.
