Искусственный интеллект стремительно развивается, и ChatGPT от OpenAI стал одним из самых заметных представителей современной генеративной нейросети, активно используемой миллионами пользователей по всему миру. Однако даже такие передовые системы не лишены проблем, и одна из самых серьезных - явление, известное как "галлюцинации" искусственного интеллекта. Галлюцинации - это ситуация, когда модель уверенно генерирует ложную или неверную информацию, выдавая её за правду. Несмотря на значительные усилия разработчиков, на данный момент устранить эту проблему полностью не удаётся. Более того, новое исследование OpenAI показывает, что фундаментальные математические свойства работы больших языковых моделей делают галлюцинации практически неизбежными.
Что же это значит для будущего ChatGPT и всего рынка ИИ? И почему предлагаемое OpenAI решение может нанести серьезный ущерб популярности и восприятию системы пользователями? Все эти вопросы становятся критически важными. Исследование OpenAI раскрывает глубинные математические причины происхождения галлюцинаций, связывая их с самой природой прогнозирования слов в языковых моделях. Модели работают, предсказывая по одному слову за раз наиболее вероятное продолжение фразы, опираясь на вероятностные распределения. Такой подход по своей сути аккумулирует ошибки: даже если вероятность ошибки на отдельном слове мала, с увеличением длины предложения ошибки "накапливаются" и итоговый ответ всё чаще оказывается неверным. Более того, эти ошибки не связаны исключительно с качеством обучающих данных.
Исследователи доказали, что даже при идеальном и безошибочном тренировочном датасете вероятность возникновения галлюцинаций останется, поскольку проблема кроется в сложности задач классификации валидной и неверной информации для многих областей человеческих знаний. Важным фактором также является частотность фактов в тренировочных данных. Чем реже модель встречает конкретный факт во время обучения, тем выше вероятность неправильного ответа на соответствующий вопрос. Ярким примером в исследовании стала ситуация с днём рождения одного из авторов, когда ChatGPT предлагал сразу несколько различных ошибочных дат. Такая уверенность в заведомо некорректных ответах создаёт у пользователей иллюзию компетентности, которая при дальнейшем разборе оказывается опасной и вводящей в заблуждение.
Возникает так называемая "ловушка оценивания". Современные бенчмарки, по которым оцениваются модели, зачастую используют бинарные системы оценок: либо модель отвечает правильно - получает балл, либо ошибается - получает ноль. При этом выражение неопределённости или признание "не знаю" приравниваются к неправильным ответам. Такая система провоцирует модели всегда давать ответ, даже если уверенность в нём крайне низкая. Выгоднее угадать, чем признать неуверенность.
Следствием становится рост галлюцинаций - моделей заставляют отвечать на всё и вся, чтобы не терять баллы. OpenAI предлагает потенциал решения этой проблемы через введение системы, учитывающей уровень уверенности модели перед тем, как она выведет ответ. Модель должна отвечать лишь тогда, когда её уверенность превышает определённый порог, например 75%. В противном случае она выражает сомнение или вовсе отказывается отвечать. Такой подход математически снижает частоту галлюцинаций, поскольку устраняет необходимость угадывать.
Но именно здесь возникает серьёзная дилемма. Пользователи привыкли получать уверенные и детализированные ответы на любые вопросы, и появление частых "Я не знаю" или оговорок значительно ухудшит восприятие сервиса. Согласно оценкам статьи, модель, следуя предлагаемому подходу, могла бы отказывать примерно в трети запросов - даже при консервативных подсчётах. Это резко и негативно повлияло бы на пользовательский опыт, снизив популярность ChatGPT и подобных систем. Примером того, как пользователи реагируют на выражения сомнения и неуверенности, может служить опыт проекта мониторинга качества воздуха в Солт-Лейк-Сити.
Там система, которая сигнализировала о наличии неопределённости в показаниях, вызывала значительно меньшее вовлечение пользователей по сравнению с теми, которые выдавали уверенные, пусть и неточные, данные. Подобная человеческая склонность к доверчивости мешает внедрению более осторожных и честных моделей ИИ. Помимо снижения привлекательности для пользователей существует и экономическая проблема. Реализация описанного выше подхода требует значительно больших вычислительных ресурсов, поскольку модели должны обрабатывать не один вероятный ответ, а несколько, чтобы оценить уровень уверенности. В масштабах миллионов запросов ежедневно это означает резкое увеличение затрат на вычисления и энергопотребление.
Более сложные алгоритмы, такие как активное обучение с задаванием уточняющих вопросов, могут дополнительно повысить точность, но одновременно увеличивают вычислительные требования. В промышленных и критичных для бизнеса сферах, таких как медицина, финансы или управление логистикой, высокая стоимость работы моделей с оценкой неопределённостей оправдана, поскольку ошибки здесь имеют огромные последствия. Для таких областей подход OpenAI может стать не только экономически оправданным, но и обязательным. Однако на рынке массового потребления, где важен быстрый и уверенный отклик на широкий спектр запросов, подобное решение является экономически непродуктивным. Совокупность вышеописанных факторов показывает парадокс современного развития ИИ.
Технологии способны предоставить честные ответы с признанием неопределённости, что уменьшит число галлюцинаций, но данный подход будет экономически дорогим и непопулярным среди широкой аудитории. Представление о безупречной всезнайке, которая не боится ошибаться, сложно заменить на модель, которая часто отказывается отвечать. На данный момент рыночные и пользовательские ожидания задают развитие ИИ в сторону уверенных, но порой ошибочных ответов. Исследование OpenAI раскрывает фундаментальные ограничения языковых моделей и доносит послание, что системные галлюцинации являются не просто технической проблемой, которую можно устранить тривиально. Напротив, устранение галлюцинаций потребует серьезного пересмотра подходов ко многим аспектам - от обучения и оценивания моделей до их архитектуры и экономической целесообразности.
Только тогда можно ожидать качественных прорывов в области надёжности искусственного интеллекта. В итоге, решение OpenAI проблемы галлюцинаций, основанное на учёте уровня уверенности и отказе отвечать при недостаточной достоверности, потенциально может "убить" ChatGPT на рынке потребительских приложений и лишить его главных пользователей. Однако именно этот шаг может положить начало новому этапу развития серьёзных, ответственных и надёжных ИИ-систем, возвышая их над быстрыми угадайками до настоящих интеллектуальных помощников с реальным пониманием ограничений своих знаний. Рынок же пока ещё не готов к такой революции. Пока приоритет остаётся за удобством, скоростью и уверенностью, даже если это связано с ложными ответами.
Будущее искусственного интеллекта будет зависеть от того, насколько разработчики и пользователи смогут совместить требования честности и точности с экономической и пользовательской жизнеспособностью технологий. Важно понимать, что борьба с галлюцинациями - это не просто задача для инженеров, а вопрос фундаментальных изменений в самой парадигме создания и использования ИИ. А пока добиться полного устранения этой проблемы, не потеряв пользователей и не взвинтив затраты, остаётся невероятной задачей. .
