В последние годы тема развития искусственного интеллекта стала одной из самых обсуждаемых в научных и технических кругах. Особенно бурное внимание эксперты и общественность обращают на прогнозы, связанные с достижением значительных технологических рубежей, таких как появление суперинтеллекта или сверхчеловеческих программистов к 2027 году. Одним из наиболее заметных проектов в этой области является прогноз AI 2027, который пытается смоделировать временные рамки развития искусственного интеллекта и оценить вероятность появления ключевых этапов на пути к развитию. Однако к этому прогнозу вскоре последовала детальная критика, которая подчеркнула ряд его слабых сторон и предложила серьезный вызов методологии и предпосылкам, заложенным в модель. В данной статье проведем детальный разбор ключевых моментов критики, причиной которой стал анализ пользователя LessWrong и автора Substack под псевдонимом Titotal, а также последующую реакцию со стороны разработчиков модели и экспертов в сфере ИИ.
В основу модели AI 2027 положены два основных подхода: метод расширения горизонтов времени и метод оценки на основе эталонов и технологических разрывов. Главная задача сводилась к тому, чтобы оценить временные рамки появления суперинтеллектуальных кодеров, способных выполнять работу исследователей ИИ в 30 раз быстрее и дешевле человека. Для этого использовались данные отчета METR, в котором анализировался прогресс ИИ в выполнении исследовательских задач, а также строились кривые экспоненциального и даже сверхэкспоненциального роста способностей систем. Ключевым элементом критики Titotal стало указание на недостаточное моделирование неопределенности параметров модели, особенно касающихся скорости прогресса и параметра, характеризующего темп сокращения времени удвоения. Автор критикует выбор фиксированной величины в 10% для каждой следующей итерации, подчеркивая, что такие параметры должны сопровождаться анализом неопределенности, иначе прогнозы становятся чрезмерно уверенными и рискованными для принятия решений.
Кроме того, особенное внимание уделено тому, что в прогнозе отсутствует глубокое рассмотрение влияния краткосрочных аномалий в данных, которые могут создавать ложное впечатление устойчивого сверхэкспоненциального роста, тогда как на деле прогресс может возвращаться к более медленным базовым трендам, подобно известным закономерностям, например, в законе Мура. Другой важный аспект анализа связан с понятием разрыва между публичными и внутренними возможностями ИИ. В модели предполагалось, что с течением времени разрыв будет сокращаться, приводя к ускорению прогресса. Titotal, как и авторы ответа, признают, что с одной стороны, уменьшение этих барьеров должно способствовать более быстрому распространению инноваций. Однако к тому же, высказано сомнение, что такой эффект станет существенным драйвером ускорения, особенно учитывая, что прямое использование внутренних моделей для ускорения дальнейших исследований пока что весьма ограничено.
Особое место в дискуссии занимает идея «сложностного разрыва», которая выводится из наблюдений о том, что удлинение горизонтов задач, которые ИИ может успешно выполнять, не сопровождается пропорциональным возрастанием их сложности. Критика указывает, что с позиции эмпирических данных и человеческой практики далеко не всегда верно считать, что перейти от часовой задачи к недельной значительно проще, чем от минутной к часовой. Для искусственного интеллекта эта проблема еще более неочевидна и требует дополнительного изучения. Что касается модели, основанной на эталонах и разрывах, критика обращает внимание на чрезмерную сложность и множество предположений, которые в итоге оказываются менее обоснованными и могут не прибавлять реальной информативной ценности модели. Автор отмечает, что такие вариации и усложнения иногда необходимы для интуитивного понимания, но для точного прогнозирования могут оказаться излишними и даже вредными, если не подкреплены надежными данными и строгой логикой.
Интересным моментом стал разбор того, каким образом модель учитывает взаимодействие ИИ и людей в исследовательском процессе. Titotal указывает, что скорость алгоритмического прогресса в последние годы выросла всего на 3-30%, тогда как модель AI 2027 подразумевает намного более значительное ускорение на основе обратных связей и повышения эффективности с участием ИИ. Такая рассогласованность подчеркивает необходимость дальнейших доработок и калибровок модели, учитывающих реальные поведенческие и технологические характеристики систем. Не менее важной темой обсуждения стала адекватность и ответственные методы коммуникации результатов прогнозов. В частности, был подчеркнут вопрос, насколько уместно использовать ярко выраженные негативные выражения в заголовках и публикациях, так как это может создать неправильное восприятие и повлиять на общественное мнение и решения в области ИИ без должного контекста.
Ответы на критику и последующие обновления моделей показали, что разработчики активно реагируют на обратную связь, корректируют параметры, делают доступными исходные данные и обеспечивают прозрачность процесса, что несомненно положительно влияет на уровень доверия и качество научного диалога. В конечном итоге, несмотря на множество важных замечаний и справедливую критику в сторону точности и методологии, многие эксперты, в том числе и автор анализа Зви Мовшовиц, признают, что модель AI 2027 представляет собой наиболее проработанный и количественный прогноз на данный момент. Он дает полезные ориентиры и интерпретируемые вероятностные оценки, которые, хотя и требуют осторожного применения, значительно лучше отсутствия всякой систематизации и субъективных угадываний. Ключевое противоречие сводится к тому, как высокие требования к уровню строгой валидации, свойственные физическим наукам, соотносятся с натурой прогнозирования в быстро меняющейся и сложной области, такой как ИИ. Однако именно публикация, внимательное обсуждение и поправки моделей в открытой среде, где можно оперативно получать отзывы, является наиболее эффективным способом продвижения в понимании проблем и снижении рисков.
Подводя итог, можно отметить, что критика AI 2027 показала важность сбалансированного подхода к моделированию временных горизонтов в области искусственного интеллекта. Необходимо учитывать множество факторов: неопределенности параметров, скорость прогресса, взаимодействие людей и ИИ, а также влиять на общественное и профессиональное восприятие таких прогнозов. Продолжающиеся дискуссии и совместные усилия исследователей помогут со временем создавать более точные и адекватные модели, которые смогут служить надежным инструментом для принятия решений на стратегическом уровне.
