Государственная коллегия адвокатов Калифорнии вызвала широкий резонанс после признания использования искусственного интеллекта (ИИ) для создания вопросов для одного из самых важных экзаменов — калифорнийского адвокатского теста. Информация об этом появилась после того, как экзаменуемые начали жаловаться на ряд технических сбоев и несостыковок во время февральской сессии экзамена. Возникшие вопросы касались качества и достоверности тестовых заданий, что подтолкнуло организаторов дать официальные разъяснения и признать участие ИИ в подготовке части материалов. Это заявление вызвало многочисленные дискуссии в юридическом сообществе, среди преподавателей, экспертов в области юридического образования и самих претендентов на адвокатскую практику. Приведём подробный анализ причин и следствий данного события, а также оценим его влияние на дальнейшую практику оценки знаний в юриспруденции.
В основе проблемы лежит методология подготовки и оценки вопросов, которые используются для многошагового комплексного тестирования претендентов на право вести адвокатскую деятельность в Калифорнии — одном из самых сложных и конкурентных штатов в США. Организацию экзамена осуществляет Государственная коллегия адвокатов Калифорнии, а разработку заданий частично доверили специализированным компаниям. Среди них Kaplan, авторитетный поставщик учебных материалов и экзаменационных вопросов, и ACS Ventures — независимый психометрический эксперт, отвечающий за оценку качества заданий и их соответствии нормативам. Именно ACS Ventures призналась в использовании искусственного интеллекта для поддержки разработки некоторых многоцелевых выборочных вопросов (MCQs). Искусственный интеллект был применён для генерации идей и черновиков вопросов с последующей проверкой и доработкой людьми-экспертами.
Несмотря на применение ИИ, представители Государственной коллегии заявили, что уверены в валидности вопросов и их способности честно и справедливо оценивать юридические знания экзаменуемых. Исполнительный директор коллегии, Лия Уилсон, подчеркнула, что уроки, извлечённые из опыта февраля, будут учтены при подготовке следующего экзамена в июле, где планируется ввести дополнительный многоступенчатый контроль и независимый аудит экзаменационных материалов. Тем не менее, для юридического сообщества подобный подход вызвал серьёзные опасения. Многие преподаватели и подготовители к адвокатскому экзамену выразили мнение, что использование ИИ в такой критически важной области неизбежно связано с рисками снижения качества и достоверности контроля знаний. В частности, Кэти Моран, профессор Университета Сан-Франциско, специализирующаяся на подготовке к адвокатскому экзамену, назвала это признание «потрясающим» и опасным прецедентом.
Она указала на этическую проблему конфликта интересов, так как одна и та же организация не только создавала, но и анализировала, а затем одобряла собственные вопросы. С точки зрения подготовленных кандидатов и профессионального сообщества, это подрывает доверие к экзамену, поскольку возникает сомнение в объективности оценки и, соответственно, в справедливости последующих результатов. Также участники обсуждений обращают внимание на то, что использование ИИ пока не может заменить глубину и тонкость человеческого юридического анализа, невероятно важную для составления качественных вопросов, которые оценивают не просто знание закона, а умение применять его на практике. Однако нельзя не признать, что технологии искусственного интеллекта продолжают быстро распространяться и совершенствоваться, включая и сферу образования. Это породило необходимость пересмотра традиционных методов подготовки и проведения профессиональных экзаменов с учётом новых реалий.
На государственном уровне в Калифорнии уже видны первые шаги в сторону интеграции цифровых технологий в экзаменационный процесс. Показательно, что коллегия намерена усилить контроль и независимую проверку экзаменационных материалов, что должно вернуть доверие и обеспечить прозрачность оценки правовых знаний. Анализируя ситуацию в более широком контексте, можно увидеть, что признание использования ИИ стало отражением глобальных тенденций. Во многих сферах — от медицины и экономики до образования и юриспруденции — искусственный интеллект совершенствует процессы, ускоряет обработку информации и предлагает новые инструменты для оценки и обучения. Тем не менее, баланс между эффективностью и этикой остаётся крайне важным.
В юридической сфере, особенно когда речь идёт о допуске к практике, ответственность за качество экзаменов остаётся на первом месте. Решение коллегии Калифорнии использовать ИИ для формирования вопросов вызывает необходимое обсуждение и формирует почву для будущих реформ. Вполне вероятно, что уже в ближайшем будущем появятся стандарты и нормы, регулирующие использование искусственного интеллекта в разработке экзаменационных материалов на национальном и международном уровнях. Для студентов и претендентов на адвокатскую практику это означает необходимость тщательнее подходить к подготовке, ориентируясь не только на традиционные знания, но и на умение работать с новыми технологиями. Кроме того, преподаватели и учебные заведения должны будут адаптировать свои программы с учётом изменения формата вопросов и вероятного появления новых видов оценки, опирающихся на компьютерные алгоритмы.
В итоге история с использованием ИИ в разработке вопросов Бар экзамена Калифорнии — это пример того, как меняется мир юридического образования под влиянием технологического прогресса. Она подчёркивает важность прозрачности, ответственности и непрерывного совершенствования процессов оценки, а также важность изучения этических аспектов внедрения новых инструментов. За дальнейшим развитием ситуации и результатами последующих экзаменов будет интересно наблюдать, так как это может задать тон и другим штатам и странам в вопросе цифровизации и автоматизации профессионального тестирования.
