В последние годы искусственный интеллект стремительно интегрируется в повседневную жизнь, проникая в самые разные сферы, включая образование, журналистику и творчество. Одним из актуальных вопросов стала возможность отличить тексты, написанные человеком, от тех, что созданы при помощи AI, например, таких моделей, как ChatGPT. Появились специальные программы и сервисы — детекторы AI-писательства, которые обещают выявлять машинно-сгенерированный текст. Однако на практике они часто оказываются ненадежными и способны выдавать ложноположительные результаты. Почему же современные технологии диагностики искусственного интеллекта терпят неудачу и каким образом эти инструменты влияют на общество? Разберемся подробнее.
Основная задача детекторов AI-текста – распознать, писал ли человек или машина данное произведение. В основе многих таких систем лежит анализ свойств текста, таких как "перплексия" (perplexity) и "всплески" (burstiness). Перплексия отражает степень предсказуемости текста относительно моделей, на которых обучался AI, а всплески отображают динамичность и разнообразие структуры предложений. Идея состоит в том, что AI стремится производить более формализованный, менее вариативный текст, который легко угадать, следовательно, его перплексия будет низкой. Люди, напротив, по мнению разработчиков, пишут более разнообразно и непредсказуемо.
Однако реальность оказывается гораздо сложнее. Примером служит ситуация с текстом Конституции США – важнейшего исторического документа, который детекторы регулярно ошибочно обозначают как AI-созданный. Это связано с тем, что содержание Конституции широко использовалось в тренировочных данных многих языковых моделей, и потому его стиль является «знакомым» системе. Такие тексты считаются «низкоперплексными» и ошибочно помечаются как сгенерированные AI. Аналогичная ситуация наблюдается с религиозными текстами, например, Библией.
Из-за этих ложноположительных срабатываний возникает парадокс – тексты, созданные человеком десятилетиями или столетиями назад, якобы неотличимы от машинного творчества. Кроме того, даже человек может сознательно или неосознанно писать в стиле с низкой перплексией – используя устоявшиеся клише, шаблонные конструкции и распространённое словоупотребление, что еще больше уравнивает тексты AI и людей. Как следствие, показатель перплексии не может быть абсолютным критерием для определения авторства. Еще одним параметром является «всплесковость» — измерение разнообразия длины предложений и структуры текста. Человеческая речь, как предполагается, более вариативна, тогда как AI генерирует более равномерные и структурированные предложения.
Но и здесь наблюдаются исключения: одни люди пишут однообразно, а современные языковые модели обучаются имитировать человеческие изменения в стиле и длине фраз, что снижает эффективность и этого критерия. Практическая ценность таких детекторов ставится под сомнение в научных исследованиях. Учёные Университета Мэриленда и Стэнфорда пришли к выводу, что существующие системы лишь немного превосходят случайное угадывание и часто бывают уязвимы к простым приёмам, таким как перефразировка текста с сохранением смысла. Более того, было выявлено, что подобные AI-детекторы демонстрируют предвзятость против носителей английского языка не на родине, что приводит к ложным обвинениям в плагиате и использованию машинного текста среди студентов из разных стран. Развитие рынка этих инструментов идет рука об руку с общим ажиотажем вокруг внедрения ИИ в образовательный процесс.
Некоторые преподаватели, столкнувшись с появлением подобных программ, начинают активно использовать их для выявления «нечестных» студентов, предполагая, что это позволит сохранить академическую честность. При этом случаи несправедливых обвинений учащихся, основанных исключительно на выводах AI-детекторов, получают широкое распространение и вызывают тревогу. Пример из жизни – студент, которого обвинили в списывании из-за показаний детектора, но в итоге дословное исследование и защита своей работы позволили доказать его честность. Тем не менее, стресс и эмоциональные последствия для него и других затронутых студентов оказались серьезными. Что же делать в условиях такой нестабильной и ненадежной технологии? Многие эксперты предлагают отказаться от слепой веры в инструменты для распознавания AI-текста и перейти к более зрелым подходам.
В первую очередь стоит принять факт, что технологии генерации текста совершенствуются очень быстро, а возможности определить авторство с высокой точностью без контекста – сильно ограничены. Вместо сфокусированного выявления «авторства ИИ» значения имеет понимание того, насколько человек, использующий AI, осознаёт и контролирует процесс создания содержания. Хорошая практика состоит в том, чтобы проверять компетентность студента путем индивидуальных опросов и обсуждений материала, а не полагаться слепо на автоматический анализ текста. Таким образом можно оценить, действительно ли ученик полностью понимает свой ответ и владеет представленными фактами. Некоторые преподаватели, такие как профессор Итан Моллик из Уортонской школы бизнеса, предлагают воспринимать инструменты искусственного интеллекта как помощников и сосредоточиться на развитии у студентов навыков критического мышления и работы с источниками, а не пытаться ввести жесткие запреты и контроль.
В этой парадигме важна ответственность и этичное использование AI, а не преследование за его применение. Совершенствующиеся языковые модели становятся более адаптивными, что делает проблему различия между AI- и человеческим текстом все более размытой. Вместо бесконечных попыток обнаружить AI-авторство в записи следует развивать культуры прозрачности и диалога, поощрять совместное использование технологий и помогать пользователям осознанно применять инструменты. Подводя итог, можно утверждать, что текущие детекторы AI-писательства далеко не совершенны и могут вести к необоснованным обвинениям и недопониманию. Они часто выдают ложноположительные результаты на классических текстах, а также неспособны надежно отделить стиль человека от машинного.
Для успешного и этичного использования искусственного интеллекта в образовательном и иных секторах необходимо пересмотреть подходы и сосредоточиться на развитии навыков понимания и критического анализа, а не на чисто техническом выявлении авторства. В конечном счёте, роль человека в создании и интерпретации информации останется ключевой, а технологии будут лишь инструментом, эффективность которого зависит от компетентности и осознанности пользователя.
