В современном мире взаимодействие человека с компьютером стало повсеместным и неотъемлемым элементом ежедневной жизни. От традиционных устройств ввода, таких как клавиатура и мышь, до сенсорных дисплеев и голосовых помощников – технологии непрерывно развиваются, стремясь сделать коммуникацию с электронными устройствами более естественной, быстрой и удобной. Однако многие из существующих методик имеют ограничения, особенно в мобильных и ограниченных условиях, когда использование внешних периферийных устройств затруднено или невозможно. В этой связи особое внимание привлекают нейромоторные интерфейсы, позволяющие считывать сигналы, исходящие непосредственно от нервных или мышечных структур человека, и преобразовывать их в управляющие команды для компьютеров. Такие технологии способны обеспечить высокую выразительность и интуитивность управления, снять ограничения, связанные с использованием традиционных устройств, и открыть новые возможности для пользователей с разным уровнем физической активности и моторных возможностей.
Одной из главных проблем в области нейромоторных интерфейсов остается необходимость обеспечить высокую скорость и точность передачи сигналов без инвазивных хирургических вмешательств. Ранее эффективная передача информации с высоким пропускным каналом чаще всего достигалась с помощью имплантируемых электродов, которые требовали сложных хирургических операций и подгонки моделей под конкретного пользователя. Альтернативные подходы, основанные на электроэнцефалографии (ЭЭГ), хотя и более удобны, ограничены низким сигналом на шум и длительной подготовкой. Недавно была предложена концепция универсального неинвазивного нейромоторного интерфейса, функционирующего на базе поверхностной электромиографии (sEMG). Этот интерфейс использует инновационное устройство в виде нескольких электродов, расположенных на запястье – месте, которое обеспечивает максимальное удобство в повседневном применении и хорошее покрытие мышечных сигналов рук и предплечья.
Такой дизайн обеспечивает возможность записи мышечных потенциалов с высокой чувствительностью, исключая необходимость в традиционных проводных и громоздких системах. Основой технологии является запись и декодирование сигналов, исходящих из моторных единиц – так называемых моторных нейронов, управляющих мышцами. Система sEMG фиксирует электрические потенциалы, возникающие при активации мышечных волокон, что обеспечивает естественный и богатый сигнал для интерпретации намерений пользователя. Особенностью является использование специально разработанного широкомасштабного оборудования, способного собирать данные у тысяч человек, что позволило создать обобщенные модели декодирования сигналов, применимые к широкому кругу пользователей без персональной перенастройки. Использование методов глубокого обучения, таких как рекуррентные нейронные сети и модели с механизмом внимания, позволяет эффективно распознавать жесты, контролировать движения и даже преобразовывать почерковое письмо в текстовые команды в режиме реального времени.
Благодаря обучению на большом массиве разнородных данных, созданные модели демонстрируют высокую степень обобщения и устойчивы к вариациям в физиологии и положениях устройства на руке. Одним из ключевых достижений стало представление модели, работоспособной «из коробки» для новых пользователей, что значительно сокращает или полностью исключает необходимость длительных этапов калибровки. Хотя индивидуальная персонализация моделей может улучшить точность распознавания, даже базовая версия обеспечивает показатели, достаточные для надежного использования в разнообразных сценариях. Разработанный интерфейс прошел комплексное тестирование в условиях управляемых интерактивных задач: управлении курсором с одной степенью свободы, распознавании дискретных жестов и распознавании рукописного текста. Результаты продемонстрировали производительность, сопоставимую с традиционными методами ввода, но при этом без ограничения мобильности и удобства использования, типичных для классических устройств.
Кроме того, исследователи отмечают, что такая технология не только удобно интегрируется в повседневную жизнь, но и открывает перспективы для создания устройств, доступных людям с ограниченной подвижностью, включая инвалидов и пациентов с неврологическими заболеваниями. Возможность детекцирования даже минимальных мышечных сигналов позволяет реализовать коммуникационные интерфейсы, удовлетворяющие самые строгие требования по малой энергозатратности и минимальному физическому усилию. Аппаратная часть интерфейса представляет собой тонкий, легкий и полностью беспроводной браслет, легко надеваемый и снимаемый, с изменяемыми размерами для обеспечения индивидуального комфортного прилегания. Высокоскоростная и надежная передача данных осуществляется по защищенному Bluetooth-протоколу, устройство обладает долгим временем автономной работы – более четырех часов, что позволяет использовать его в течение всего рабочего дня без частых перезарядок. Для повышения стабильности и устойчивости к вариациям положения браслета на руке во время эксплуатации в модели были предусмотрены алгоритмы инвариантности и регуляризации.
Это значительно снижает эффекты смещения электродов и изменчивость сигналов, которые ранее представляли собой серьезные технические препятствия для широкомасштабного внедрения EMG-интерфейсов. Важным направлением стало использование большого объема данных, собранных с тысяч добровольцев разных возрастов, пола, антропометрических параметров и уровня физической подготовки. Такая диверсификация данных позволила значительно повысить адаптивность моделей и их способность точного распознавания жестов и движений у максимально широкого круга пользователей. В обучении моделей, особенно для задач рукописного ввода, применялась технология CTC (Connectionist Temporal Classification), позволяющая эффективно работать с неразмеченными по времени последовательностями данных, что особенно актуально при работе с динамическими движениями рук и пальцев. Использование архитектуры Conformer, сочетающей преимущества свёрточных и трансформерных сетей, обеспечивало эффективное улавливание как локальных, так и глобальных зависимостей в сигнале электро-миографии.
Тесты в реальном времени показали, что пользователи быстро привыкали к управлению через новый интерфейс, осваивая одновременно точность и скорость ввода. Практические испытания включали навигацию курсором, выполнения комплексных жестов и ввод текста рукописным способом с показателями скорости до двадцати одного слова в минуту, что является впечатляющим достижением при отсутствии физического контакта с экранами и клавиатурами. Перспективы развития данной сферы огромны. Универсальный неинвазивный нейромоторный интерфейс может стать базой для новых поколений носимых устройств, интегрированных в очки дополненной реальности, смарт-часы и прочие гаджеты, полностью изменяя paradigму взаимодействия человека и цифровых систем. Задачи нейрореабилитации, управления протезами, дистанционное управление роботизированными системами и многое другое станут более доступными и эффективными.
