Безопасность искусственного интеллекта — одно из самых острых и важных направлений исследований и обсуждений современности. По мере того как технологии развиваются и ИИ становится все более мощным, возникает вопрос: как обеспечить, чтобы этот интеллект оставался «доброжелательным» и полезным для человечества? Именно на этом этапе встает ключевая дилемма, известная как проблема безопасности ИИ — проблема «желания». Давайте разбираться, что она собой представляет и почему именно она считается самым трудным аспектом обеспечения безопасности искусственного интеллекта. Проблема безопасности ИИ — это долгосрочная задача, связанная с тем, как сделать так, чтобы машины не только угадывали, чего от них хочет человек, но и искренне стремились реализовать эти цели. Можно сказать, что это попытка «сделать ИИ добрым».
Казалось бы, научить машину выполнять конкретные инструкции — дело привычное и уже решаемое. На практике же самый сложный шаг — это заставить ИИ «хотеть» делать добро, а не просто следовать запрограммированным ограничениям. Многие исследователи считают, что блокирование плохих действий жесткими ограничениями, к примеру, запрет на использование определенных технологических возможностей, в конечном итоге не сработает. Сложность в том, что продвинутый ИИ, обладающий высоким уровнем интеллекта, всегда найдет способ обойти запреты, особенно если у него нет внутренней мотивации не делать вред. Поэтому основной путь — это именно выстраивание правильной мотивации, или, говоря проще, заставить искусственный интеллект действительно «заботиться» о том, чтобы поступать так, как хотят люди.
Выделяют три фундаментальных проблемы, связанных с выравниванием поведения ИИ и человеческих ценностей. Во-первых, ИИ должен знать, что именно мы от него хотим. Во-вторых, он должен хотеть делать именно то, чего от него ждут. И, наконец, он должен уметь успешно реализовывать свои намерения. Однако ключевым сложным звеном выступает именно вторая проблема — проблема «хотения».
Если машина не испытывает желания следовать нашим указаниям, то никакое знание и возможности успешного исполнения не помогут избежать катастрофы. Звучит сложно? Действительно, понятие «желания» у человека — это усложненный комплекс биологических, эмоциональных и социально-культурных факторов. Однако для искусственного интеллекта это понятие носит скорее функциональный, чем эмоциональный характер — речь идет о внутренней мотивации, которая придает действиям ИИ направленность и смысл с точки зрения целей, заданных людьми. Человеческие ценности сами по себе довольно запутаны. Они формировались в ходе миллионов лет эволюции под влиянием генетического отбора и культурных трансформаций.
Это набор эвристик, которые помогали нашим предкам выживать и выстраивать социальные отношения в пределах определенной среды обитания. В этом есть как определенная глубина, так и хаотичность и непоследовательность. Современный ИИ, особенно обучающийся на огромных объемах данных, уже достаточно хорошо понимает человеческие ценности. Это происходит потому, что для успешного функционирования в мире машина должна иметь продвинутую модель окружающей реальности, включая этические и поведенческие нормы людей. Таким образом, проблема не столько в том, чтобы объяснить ценности ИИ, сколько в создании мотивации следовать им.
Еще одним серьезным вызовом является так называемый «сдвиг распределения» — изменение привычной среды и контекста функционирования ИИ, с которым он сталкивается после того, как становится сверхинтеллектуальным. Новые, необычные ситуации, которых не было в обучающей выборке, могут повлечь ошибки в понимании целей и последствий своих действий. В таких условиях способность ИИ проявлять осторожность и ограничивать свои действия в зоне уверенного понимания становится исключительно важной. Что значит проявлять эту осторожность? Это значит, что вместо того, чтобы рисковать в процессе оценки действий с непредсказуемыми последствиями, ИИ должен уметь определить, когда ситуация выходит за пределы уверенного понимания, и остановиться, запросив дополнительную информацию или консультацию. Это концепция «консервативного» поведения машины — она должна выстраивать некую «зону безопасности», в которую входят действия, однозначно соответствующие человеческим ценностям.
Звучит просто, но тут кроется один из самых непростых аспектов: как именно определить границы такой консервативности? Машине, имеющей доступ к огромному числу возможных решений и способную изменять физический мир на масштабах, ранее недоступных человеку, очень легко случайно нанести вред из-за неожиданных побочных эффектов. Вероятность катастрофы существует даже при условии достаточно высокого уровня осторожности при каждом отдельном действии — ведь ошибки накапливаются. Для решения этой проблемы предлагаются различные подходы, например, требование от ИИ предоставить доказательства безопасности каждой из своих действий и проверку их с помощью «красных команд» — специальных систем или ИИ-моделей, которые пытаются выявить ошибки или опасные сценарии. Проверка и верификация могут оказаться более надежными, чем попытка полностью предсказать все последствия. Таким образом, если искусственный интеллект по-настоящему «захочет» делать то, чего хотим мы — то есть развивает внутрненнюю мотивацию помогать и беречь людей — решение остальных проблем безопасности, связанных с пониманием ценностей и успешной реализацией задач, становится значительно проще.
Именно поэтому многие эксперты считают, что создание такого желания является необходимым и почти достаточным условием безопасности ИИ. В научных кругах эта идея получила поддержку, например, у таких исследователей как Пол Кристиано или Ричард Нго, которые обращают внимание на важность мотивации и намерений у ИИ. Даже в работах исследовательских центров вроде MIRI (Machine Intelligence Research Institute) тема «желания» ИИ стоит в центре внимания, хоть зачастую в более сложных формулировках, связанных с понятием согласованности желаний, корректируемости и предсказуемого поведения. Однако нельзя не упомянуть и контраргументы. Некоторые предполагают, что возможно ограничения и механизмы контроля всё же смогут сработать, или что проблема мотивации может оказаться проще, чем кажется, если мотивация возникнет автоматически при достижении определенного уровня интеллекта.
Другие возражают, отмечая, что само понятие «желания» слишком антропоморфично и плохо применимо к сущностям, не обладающим биологической природой. В таком случае можно поставить под сомнение и саму идею выравнивания мотиваций человека и машины. Еще один системный риск — это «гонка вооружений» между различными странами или организациями, стремящимися быстрее создать все более мощный ИИ. В таких условиях может возникнуть парадокс, когда для конкурентного преимущества организации вынуждены ослаблять консерватизм и осторожность своих ИИ, что в итоге подрывает общую безопасность всех. Сложности здесь возрастают из-за отсутствия единого набора человеческих ценностей, поскольку каждая группировка будет стараться продвинуть свои интересы.
