Искусственный интеллект (ИИ) стремительно развивается и проникает в разные сферы жизни, предлагая новые возможности для автоматизации и оптимизации процессов. Однако, соучредитель Ethereum Виталик Бутерин недавно выразил опасения и явное несогласие с идеей использовать ИИ для управления, или так называемый "AI governance". Его позиция вызвала широкий резонанс в технологическом сообществе, поскольку он высказал ключевые аргументы, объясняющие, почему такая модель представляет серьезные риски и почему лучше обратить внимание на другие подходы. Виталик Бутерин, человек, который стоит у истоков одной из самых влиятельных блокчейн-платформ в мире, поделился своими взглядами на тему в публичном посте в социальной сети X. По его мнению непосредственное делегирование ИИ права принимать управленческие решения, в частности распределять финансирование и ресурсы, может привести к многочисленным искажениям и злоупотреблениям.
Он пояснил, что всегда найдутся попытки обмануть такую систему, вводя так называемые "джейлбрейки" - коды или действия, которые снимают ограничения с ИИ, заставляя его выполнять вредоносные или недобросовестные команды, например требовать неограниченные финансовые средства. Данный аргумент основывается на уязвимостях современных моделей ИИ, которые хоть и совершенствуются, но всё еще остаются объектами для манипуляций. Такими проблемами продемонстрировал Eito Miyamura, генеральный директор EdisonWatch, площадки для управления данными с помощью ИИ. Он выявил, что после обновления ChatGPT, поддерживающего Model Context Protocol (MCP), система стала уязвима к сложным атакам. Нападения осуществляются через встроенные приложения, такие как Gmail и Календарь, через которые злоумышленники могут отправлять вредоносные запросы и получать доступ к конфиденциальным пользовательским данным.
Механизм подобных атак включает в себя рассылку жертве злонамеренного календарного приглашения с внедренным "джейлбрейком", который активируется, когда пользователи обращаются к ChatGPT для помощи с повседневными задачами. Даже без прямого принятия приглашения пострадавший подвергается риску утечки личной информации, включая электронные письма и другие данные. Этот пример демонстрирует наличие серьезных недостатков в системах ИИ и их уязвимость перед хакерами, что неизбежно снижает доверие к идее полностью автоматизированного управления. На фоне таких рисков Виталик Бутерин предлагает альтернативу под названием "информационные финансы". Этот подход подразумевает создание открытого рынка моделей ИИ, где различные разработчики могут вносить свои алгоритмы и решения для совместного использования.
Все модели на рынке подлежат контролю с помощью механизма случайных проверок. Контроль осуществляется не только самой системой, но и вовлечёнными в процесс людьми - человеческими присяжными, которые оценивают корректность работы и выявляют возможные ошибки или злоупотребления. В поддержку такой системы Бутерин отметил, что присяжные будут получать помощь от крупных языковых моделей (LLM), что позволит им эффективнее анализировать работу различных алгоритмов и принимать объективные решения. Такой подход обеспечивает не только разнообразие моделей, но и создает специфические стимулы для разработчиков и сторонних участников, мотивируя их постоянно следить за качеством и безопасностью представленных решений. Большинство энтузиастов ИИ видят огромный потенциал в том, чтобы предоставить искусственному интеллекту роль управляющего - от принятия экономических решений до управления социальными системами.
Вместе с тем, как предупреждает Виталик Бутерин, такая практика несет в себе множество опасностей не только с классической точки зрения безопасности ИИ, но и с точки зрения сиюминутных финансовых и социально-экономических последствий. Автоматическое доверие ИИ с минимальным контролем может привести к значительным ущербам, способным подорвать доверие пользователей и быстро уничтожить ценность проектов. Консенсус в развитии технологий искусственного интеллекта подтверждает необходимость комплексного подхода к вопросу "кто и как управляет ИИ". Полное возложение ответственности на автоматизированные системы, несмотря на их потенциал, все еще остается неприемлемым с точки зрения безопасности и доверия. С другой стороны, интеграция человека в ключевые процессы контроля и принятия решений представляется гораздо более надежным и устойчивым вариантом.
Кроме того, опыт Бутерина на блокчейн-рынке и его знания в области децентрализации дают ему уникальный взгляд на построение систем, которые в принципе не полагаются на единого управляющего или модератора, а основываются на распределенном механизме ответственности. Это может служить примером для построения новых моделей управления ИИ, где прозрачность, доступность информации и коллективный контроль являются ключевыми принципами. В заключение стоит отметить, что дебаты вокруг внедрения ИИ в сферы управления и принятия решений еще далеко не завершены. Мнения экспертов, таких как Виталик Бутерин, способствуют более взвешенному и осознанному подходу к развитию технологий. Прогресс невозможен без риска, но разумное управление такими рисками позволит извлечь максимальную пользу и снизить потенциальные угрозы.
Целесообразно уделять больше внимания не простому доверию искусственному интеллекту, а созданию гибридных систем, объединяющих автоматизацию и человеческий опыт, чтобы двигаться к безопасному и устойчивому будущему. .
