Искусственный интеллект (ИИ), а именно крупные языковые модели (Large Language Models, LLM), занял заметное место в нашей повседневной жизни, начиная от чат-ботов и заканчивая сложными системами поддержки принятия решений. Однако за этим кажущимся прогрессом скрываются проблемы, которые зачастую недооценивают пользователи и разработчики. Одной из ключевых является избыточная уверенность, демонстрируемая ИИ в своих ответах, даже когда он ошибается. Более того, такие модели практически не учатся на собственных промахах, что вызывает вопросы по поводу их надежности и безопасности применения в различных сферах. Исследование, проведенное специалистами Карнеги-Меллоновского университета, наглядно иллюстрирует этот феномен.
Авторы сравнили поведение нескольких ведущих коммерческих LLM — включая ChatGPT от OpenAI, Gemini от Google и две версии Claude от Anthropic — в разных задачах, от прогнозирования результатов спортивных матчей и киноакадемии Оскар до ответов на вопросы викторин и участия в играх, напоминающих Pictionary. Результаты свидетельствуют о том, что если человек ошибается, он склонен понизить свою уверенность в дальнейших ответах или хотя бы скорректировать её в сторону реалистичности. ИИ же напротив — с повышением количества ошибок зачастую демонстрировал даже усиление уверенности, иногда до абсурда. Главный автор исследования Трент Кэш отмечает, что если человек предполагал, что ответит верно на 18 вопросов, но справился лишь с 15, в дальнейшем он оценивал свои шансы немного меньше — где-то на уровне 16 из 18 правильных ответов. Большие языковые модели же, не обладающие рефлексивным осознанием и интуицией, склонны оставаться или становиться более самоуверенными даже при худших результатах.
В ответ на подобное поведение исследователи сравнили ИИ с другом, который уверенно говорит, что он мастер бильярда, хотя постоянно промахивается — эффект переоценки собственной компетенции. Суть проблемы кроется в способе, которым LLM строят свои ответы. Эти модели основаны на статистических вероятностях слов и фраз, генерация текста происходит путем предсказания наиболее вероятных последующих элементов последовательности. При этом нет внутреннего механизма, похожего на человеческую самокритику или анализ предыдущих ошибок, что затрудняет корректировку собственных выводов и снижает качество обучения от опыта в режиме реального времени. Дэнни Оппенгеймер, соавтор исследования, поясняет, что в отличие от человека, способного ориентироваться на невербальные признаки неуверенности собеседника, ИИ не имеет таких подсказок.
Отсутствие «инсайтов» или «самоосознания» приводит к тому, что ответы строятся с уверенностью, порой необоснованной. Конечно, такие ошибки ИИ и проявление чрезмерной самоуверенности несут серьезные риски. Пользователи склонны доверять ответам, если они подаются уверенно, особенно если речь идет о сложных или новых темах. Это повышает вероятность распространения дезинформации и неверных рекомендаций. К сожалению, инциденты с ошибочными решениями на основе ИИ уже встречались в реальной жизни.
Примером служит ситуация в Нидерландах, где ИИ-системы, разработанные для оценки выплат социального обеспечения, допускали грубые ошибки, приводящие к лишению пособий пенсионеров и нуждающихся. Некоторые эксперты, например профессор Уэйн Холмс из Университетского колледжа Лондона, настроены весьма пессимистично относительно перспектив устранения этой проблемы. По его мнению, же, «генерация бессмысленных или ошибочных данных — это фундаментальный элемент работы LLM, а не бага». Исчерпание потенциала усовершенствования связано с архитектурными ограничениями этих моделей. Таким образом, даже с улучшением вычислительных ресурсов и объемов данных проблема переоценки и неадекватной уверенности может сохраняться.
Однако есть и оптимистичные взгляды на будущее. Трент Кэш уверен, что если научить LLM анализировать собственные ошибки и распознавать случаи неправильных выводов, то это существенно повысит их эффективность и безопасность. Подобная внутренняя саморефлексия стала бы важным рубежом в развитии искусственного интеллекта, приближая его к человеческим механизмам обучения. Пока что эту задачу решают с помощью дополнительных алгоритмов, контекстуальных фильтров и механизмов проверки достоверности информации, но глубинное понимание и самокоррекция остаются за кадром. Неотъемлемой частью проблемы является и то, что ИИ продолжает восприниматься многими как «автоматический эксперт», что ложит большую ответственность на пользователей и разработчиков.
Важно понимать, что за нынешним уровнем технологического прогресса скрываются методы, работающие на вероятностях и шаблонах, без истинного осмысления и проверки. Чтобы избежать разочарований и негативных последствий от использования ИИ, необходимо сохранять критическое мышление и внедрять многоуровневые системы контроля качества и безопасности. Современная общественная и деловая сферы активно интегрируют ИИ в свои процессы. Однако этот быстрый рост не всегда сопровождается должным пониманием ограничений. Из-за чрезмерной уверенности LLM даже опытные пользователи порой воспринимают их ответы как окончательную истину, игнорируя возможность ошибок и искажения информации.
Это особенно опасно в сферах медицины, права и социальной поддержки, где промахи могут иметь серьезные последствия. Рассматривая всё это, можно сделать вывод, что развитие искусственного интеллекта, несмотря на ошеломляющие достижения, нуждается в комплексном подходе к улучшению качества самодиагностики и способности учиться на собственных ошибках. Путь к действительно надежным и компетентным помощникам – это не только совершенствование архитектур и алгоритмов, но и понимание того, что человеческий интеллект и сознание обладают уникальными характеристиками, которые трудно смоделировать средствами ИИ. В конечном счете, ответственные взаимодействие с ИИ требует не только технических нововведений, но и этического и образовательного осмысления. Не стоит бояться ошибок искусственного интеллекта, важно научиться распознавать их, критически воспринимать уверенные ответы и постоянно совершенствовать технологии для уменьшения таких случаев.
Только так можно построить будущее, где искусственный интеллект станет надежным партнером, а не переоценивающим свои способности собеседником.
