В современном мире искусственный интеллект стремительно внедряется во все сферы, в том числе и в разработку программного обеспечения. Повсеместно появляются различные исследования, посвящённые влиянию ИИ на продуктивность программистов. Однако многие из таких исследований вызывают сомнения в достоверности полученных данных и в том, насколько близки они к реальному использованию технологий. Недавнее исследование, проведённое компанией METR под названием "Измерение влияния ИИ начала 2025 года на продуктивность опытных разработчиков открытого кода", предлагает более глубокий и убедительный взгляд на эту тему. Оно не только развенчивает некоторые мифы об ИИ, но и показывает, что реальность зачастую гораздо сложнее, чем кажется на первый взгляд.
Исследование METR отличает несколько важных аспектов, которые подчеркивают его уникальность. Во-первых, в качестве инструментария использовались современные передовые ИИ-модели и решения, включая Cursor Pro и версии Sonnet 3.5 и 3.7. Многие предыдущие работы опирались на старые модели GPT-4o или даже GPT-3.
5, что существенно ограничивало качества и возможности ИИ. Кроме того, только в последние месяцы агентские инструменты программирования достигли такого уровня, чтобы действительно помогать специалистам, поэтому исследования с использованием именно этих технологий ближе к реалиям сегодняшнего дня. Во-вторых, METR тестировал влияние ИИ именно на реальные задачи программирования, а не на косвенные или упрощённые задания. Это не были студенческие эссе или головоломки, но практические работы с реальными проектами. Ещё одним ключевым достижением этого исследования является групповая выборка, состоящая из профессиональных разработчиков с многолетним опытом в своих кодовых базах.
Это позволило исключить возможные искажения, связанные с неопытностью или недостаточным пониманием предметной области. Наконец, особенное внимание уделялось работе с большими реальными кодовыми базами, насчитывающими сотни тысяч, а порой и более миллионов строк кода. Это принципиально важно, поскольку вызовы при работе с «большим» кодом и задачи оптимального поиска релевантных страниц весьма отличаются от работы с компактными проектами, полностью помещающимися в контекстное окно ИИ. Основной результат исследования оказался весьма неожиданным. Разработчики изначально предполагали, что ИИ поможет им увеличить скорость работы примерно на 24%.
Во время эксперимента они также верили, что работают быстрее примерно на 20%, используя ИИ-поддержку. Тем не менее, реальный эффект был прямо противоположным — производительность снизилась в среднем на 19%. Этот факт затрагивает важный вопрос: как же могло сложиться такое противоречие между восприятием и реальностью? Кроме того, стоит отметить, что выбор и степень использования инструментов останавлялись полностью за разработчиками, что ещё больше подчёркивает объективность результата. Многие пользователи, знакомые с искусственным интеллектом, наверняка задумывались, не связана ли такая просадка скорости с непривычностью инструментов или недостатком времени на освоение новых возможностей. Авторы исследования уделили этому вопросу значительную часть работы, рассмотрев целых двадцать возможных гипотез.
Среди них была и идея о крутой кривой обучения, которая могла не дать эффекта в рамках эксперимента. Однако детальный разбор статистики показал, что ни опыт работы с ИИ-инструментами, ни количество часов, проведённых с Cursor Pro, не оказывали существенного влияния на результат. Ни одни из участников с длительным опытом ИИ не сравнивался по скорости с теми, кто имел небольшой контакт с подобными технологиями. Что же объясняет снижение производительности? Исследователи выделили три основных гипотезы. Первая из них — избыточная оптимистичность разработчиков относительно возможностей ИИ.
Возможно, они слишком часто прибегали к помощи ИИ в тех задачах, которые могли выполнить быстрее самостоятельно. Многие отмечали необходимость значительного времени на то, чтобы исправлять и дорабатывать сгенерированный код, что компенсировало ожидаемую экономию времени. Вторая гипотеза связана с высококвалифицированными и опытными участниками, которые в среднем имеют около пяти лет работы и 1500 коммитов в своих репозиториях. В их случае рутинные задачи выполняются очень быстро и эффективно, и ИИ просто не предлагают существенного улучшения в таких условиях. Возможно, истинная польза искусственного интеллекта проявляется именно тогда, когда приходится решать задачи, выходящие за рамки зоны комфорта программиста.
Последняя гипотеза касается самой природы и организации кода. Речь идёт о больших репозиториях, в которых содержатся сложные и тонко настроенные неявные правила. В таких структурах ИИ работает менее эффективно по сравнению с малыми проектами, где условия проще и читаемость кода выше. Из всех предложенных объяснений автору наиболее близка вторая гипотеза. Собственный опыт показывается, что искусственный интеллект отлично справляется с задачами вне зоны комфорта, где требуется консультация или быстрый набросок решений.
Однако в привычной и хорошо известной среде опытный разработчик, как правило, превосходит даже самые передовые модели Sonnet 3.7 или Claude. Часто достаточно внимательно проанализировать проблему, чтобы уже иметь в голове чёткий план её решения, который ИИ не в состоянии превзойти. Более того, большинство исследуемых репозиториев — это библиотеки или компиляторы, так называемый «чистый» софт, где высокий стандарт качества почти исключает возможность автоматического написания или правок кода без серьезной проверки его корректности. Интерпретация результатов дополнена идеей, что ИИ гораздо эффективнее может выступать в прототипных или менее формализованных проектах, уступая при этом строгим системам.
Интереснейшим аспектом исследования стала выявленная так называемая «иллюзия скорости». Несмотря на объективное замедление, значительная часть разработчиков ощущала, что они работают быстрее. Более двух третей участников продолжили использовать ИИ-инструменты после окончания эксперимента, что указывает не только на их субъективное восприятие, но и на определённые преимущества. Записи экранного времени демонстрировали увеличение пауз и промежутков без активности во время работы с ИИ, что на первый взгляд кажется парадоксальным. Тут стоит задуматься о природе человеческого восприятия времени и усилий.
Программирование с ИИ требует меньшей когнитивной нагрузки, позволяет отвлекаться или одновременно заниматься другими делами. Это создаёт ощущение более лёгкой и быстрой работы, даже если фактическая продуктивность снижается. Более того, расширяется возможность работать в периоды усталости, снижения концентрации или просто в моменты, когда вы обычно бы были менее продуктивны. Поскольку проверка небольших исправлений, предложенных искусственным интеллектом, обычно гораздо менее утомительна, чем самостоятельное написание кода, ИИ выступает как инструмент, позволяющий выполнять хотя бы часть работы в неблагоприятных условиях. Таким образом, падение производительности не отменяет вклада ИИ, ведь он расширяет рабочее время и облегчает задачи, которые при традиционной работе могли бы остаться нерешёнными.
Это принципиально новый взгляд на роль искусственного интеллекта в графике программистов: не столько ускорение привычных процессов, сколько поддержка в нестандартных ситуациях и сохранение продуктивности на более низком уровне мотивации или внимания. В завершение важно подчеркнуть, что результаты исследования METR — это серьёзный повод переосмыслить личные впечатления и ожидания от ИИ в программировании. Опыт участников показывает, что ощущения быстроты могут быть обманчивыми, а объективные показатели — сильно отличаться. При этом исследование не обвиняет ИИ в неэффективности, а предлагает более тонкую модель, признающую его ограничения и специфические области применения. Научный подход, включая дорогой и тщательный эксперимент с профессионалами, безусловно, выделяет данный труд среди множества других исследований.
Методы METR и открытость результатов задают стандарты для будущих работ. В перспективе будет интересно увидеть подобные эксперименты с разработчиками, работающими с незнакомыми кодовыми базами, в состоянии усталости или даже под воздействием внешних факторов. Такие исследования могут ещё больше расширить понимание того, как эффективно использовать искусственный интеллект в реальных условиях. В итоге, исследование METR — это важная веха на пути интеграции ИИ в программирование. Оно помогает понять, что инновации не всегда приносят мгновенные скачки производительности, но способствуют трансформации рабочего процесса, меняют восприятие труда и открывают возможности там, где ранее они были недоступны.
ИИ становится не столько заменой разработчика, сколько ценным помощником, особенно в ситуациях, где человеческий ресурс ограничен или ослаблен. Такая перспектива позволит сделать более обоснованные решения о том, как и когда использовать искусственный интеллект в развитии программного обеспечения и повысить качество своих проектов.
