Вопрос о том, может ли искусственный интеллект видеть и понимать цвета так же, как люди, продолжает вызывать живой интерес в научных и технологических кругах. Особенно ярко эта дискуссия проявляется в отношении таких моделей, как ChatGPT, разработанных на основе огромных объемов текстовых данных. Недавнее исследование, финансируемое Google и проведенное командой ученых под руководством профессора Лизы Азиз-Заде из Университета Южной Калифорнии, проливает свет на сложность и нюансы понимания цвета искусственным интеллектом. Оно демонстрирует, что несмотря на способность ChatGPT генерировать правильные ассоциации цвета с текстом, его восприятие остается принципиально отличным от человеческого и ограничено отсутствием живого сенсорного опыта. ChatGPT, как большая языковая модель, работает на основе анализа текстов и статистического сопоставления слов и выражений, которые она «прочла» в процессе обучения.
Цветовые выражения и метафоры, такие как «видеть красный» или «чувствовать себя синим», привычны и часто встречаются в английском языке. Тем не менее, сама модель никогда не «видела» красный цвет глазами, не испытывала визуального восприятия ни красного яблока, ни заката. Это порождает важный вопрос: насколько понимание цвета и связанных с ним метафор ограничено языковыми данными, и чем живой опыт воспринимающего цвет человека отличается от алгоритмической обработки? Исследование под руководством профессора Азиз-Заде тщательно сравнило реакции четырех различных групп участников: цветоощущающих взрослых, людей с дальтонизмом, художников и сам ChatGPT. Задачей было соотнести абстрактные слова с цветами, а также расшифровать известные и новые цветовые метафоры, при этом объясняя логику своих выборов. Результаты оказались многогранными и в определенной мере неожиданными.
Оказалось, что цветоощущающие и дальтоники проявляли удивительное сходство в восприятии и использовании цветовых ассоциаций. Это позволило предположить, что визуальное восприятие цвета не всегда является обязательным условием для символического и метафорического понимания. Здесь возникает интересный вывод: язык и культурный опыт играют решающую роль в формировании и интерпретации цветных метафор, даже у людей с ограничениями в восприятии цвета. Однако художники, регулярно вовлеченные в практическое использование цветовых пигментов, продемонстрировали более глубокое и точное понимание нестандартных и свежих метафор. Этот факт подтверждает гипотезу о том, что опыт непосредственного взаимодействия с цветом формирует более плотное и многослойное ментальное представление цвета.
Навыки, связанные с цветом, приобретаемые руками и глазами, расширяют когнитивные возможности и утончают восприятие. Что касается ChatGPT, то модель показала высокую степень последовательности в цветовых ассоциациях, объясняя свои выборы через эмоциональные и культурные контексты, установленные в текстах. Например, объяснение метафоры «очень розовая вечеринка» включало ссылки на такие качества, как счастье, любовь и доброта. Но при этом ChatGPT реже использовал «воплощенные» объяснения — то есть ссылки на физический опыт и ощущения цвета, которые естественны для людей. Значительно сложнее для модели оказалось распознавание и понимание новых и непривычных метафор, таких как «встреча сделала его бордовым», а также обращения к противоположным цветовым значениям («противоположность зеленого»).
В подобных случаях ChatGPT зачастую не мог дать точного ответа или его объяснения были сбивчивыми и снижали уверенность в понимании. Данная работа акцентирует внимание на фундаментальном различии между обработкой языка у человека и искусственного интеллекта. В то время как модели вроде ChatGPT выполняют исключительно статистический анализ текстов, человеческое понимание цвета сочетает в себе сенсорное восприятие, эмоциональную реакцию и социальный контекст. Это интегрированное восприятие формируется на основе жизненного опыта, включающего зрение, осязание и другие органы чувств. Исследователи подчеркивают, что инструменты искусственного интеллекта, основанные только на языке, пока не способны полностью воспроизвести богатую палитру человеческого восприятия.
Тем не менее, перспективы интеграции сенсорных данных в модели ИИ открываются как важное направление развития. Например, добавление визуальной и тактильной информации может помочь ИИ приблизиться к человеческому способу понимания и интерпретации как цветов, так и множества других явлений. Профессор Лиза Азиз-Заде отмечает, что результаты демонстрируют не только разницу квалификации между ИИ и человеком, но и подчёркивают роль непосредственного опыта, который является значимым элементом мышления и языка. Модели, подобные ChatGPT, созданы для изучения и генерации на основе текста, что ограничивает их способность понимать мир через сенсорную призму человеческого существования. Финансирование исследования осуществлялось благодаря Google Faculty Gift, а также поддержке Факультета Барбары и Гершона Бакар и бизнес-школы Haas Калифорнийского университета в Беркли.
