Эпоха исследования в развитии искусственного интеллекта знаменует собой важный этап, когда эффективность и прогресс не зависят исключительно от размера моделей и объёма тренировочных данных, а всё больше опираются на качество и направленность собираемого опыта. За последние десятилетия масштабные языковые модели выросли благодаря огромному объему открытых текстовых данных, доступных в интернете, однако эти ресурсы не бесконечны. При нынешних темпах потребления данных ведущие лаборатории могут исчерпать лучшие корпуса английского языка еще до конца текущего десятилетия. Это заставляет исследователей задуматься о следующем шаге – о том, каким образом модели смогут самостоятельно генерировать информативный и полезный опыт для собственного обучения. Оригинальная стадия предварительной подготовки, включающая обучение на больших массивах текста для предсказания следующего слова, выступает в современном pipeline языковых моделей своего рода масштабной «исследовательской операцией».
Эта фаза условно оплачивает некий «налог» на исследование пространства решений, которое иначе было бы трудно осваивать более мелким или полностью неинициализированным моделям. Обучение модели с нуля в режиме табула раса, без предварительного знания о языке и структуре данных, сталкивается с огромным количеством возможных вариантов, делая случайное попадание на эффективные решения практически невозможным. Предварительное обучение создает распределение вероятностей, способное направлять выбор наиболее перспективных вариантов на этапе генерации, тем самым обеспечивая минимальные «хорошие» траектории, на которые будет опираться дальнейшее усиленное обучение. Значение исследования выходит далеко за рамки традиционного обучения с подкреплением, где исследование означает случайные пробные действия, направленные на поиск оптимальной политики в заданной среде. Для языковых моделей исследование приобрело более широкий смысл и становится процессом выбора и сбора данных, которые действительно способствуют обучению.
Его важность подтверждается тем, что именно разнообразие собранного опыта позволяет модели лучше обобщать и применять свои знания в совершенно новых и неожиданных ситуациях. Генерализация – ключевой вызов для современных систем искусственного интеллекта. Обучаясь на ограниченном наборе примеров, модели часто встречаются с необходимостью решать задачи, кардинально отличающиеся от тех, что они видели во время тренировки. В традиционных исследованиях с подкреплением модели фокусируются на одной и той же среде, что снижает значимость адаптивности и приспособляемости. Но современные подходы требуют умения работать с бесконечным набором вариаций и условий, разрыв между которыми может быть настолько велик, что без продуманного исследования и выбора траекторий обучения модели рискуют переобучиться или оказаться неспособными к решению новых задач.
Рост успешности моделей зависит не только от объема потребляемых данных, но и от их разнообразия. Важно понимать, что в сценариях обучения с подкреплением каждый отдельный опыт затрагивает лишь тонкий срез реальности: один эпизод, одна последовательность действий и наблюдений. Чтобы получить полную картину, необходим широкий спектр траекторий, включающих как обычные, так и редкие события. Поиск и генерация такой разнообразной информации связаны с фундаментальными затратами ресурсов на вычисления и внимательное распределение этих ресурсов между разными этапами исследования. Современные исследования выделяют два основных направления для масштабирования процесса исследования.
Первое связано с выбором мира, или конкретной задачи, в рамках которой будет проходить обучение — от сбора и фильтрации разнообразных датасетов до создания новых синтетических сред или курсов обучения с постепенным возрастанием сложности. Второе направление связано с выбором пути, то есть с методами и стратегиями, которыми модель будет исследовать выбранную среду: случайные действия, стратегии, основанные на снижении неопределенности, использование дерева поиска и применение вспомогательных инструментов. Для языковых моделей предварительное обучение в основном фокусируется на первом направлении, поскольку при работе с текстом за одну итерацию можно охватить практически всю информацию из конкретного примера. В то время как в обучении с подкреплением процесс исследования внутри среды может занимать значительную часть ресурсов, так как необходимо отбирать оптимальные пути и формировать комплексные стратегии добычи информации. Из-за этого исследование пути требует постоянного и вычислительно эффективного планирования, чтобы не тратить ресурсы впустую и получать максимум полезных сигналов для обучения.
Проблема возникает в необходимости балансирования между глубоким исследованием ограниченного числа сред и поверхностным освоением большого их количества. Избыток внимания к одному миру ведет к переобучению и снижению способности к адаптации, тогда как слишком поверхностное изучение мира уменьшает качество полученной информации. Оптимальный баланс обеспечит максимальное соотношение полезной информации к затратам вычислительных мощностей. В настоящее время существует множество направлений развития и применения методов, ориентированных на улучшение исследования. Среди них – разработка алгоритмов, которые снижают неопределенность модели по ходу исследования среды, что позволяет направлять усилия именно на те участки пространства возможных действий, где еще присутствует недостаточная информированность.
Такие методы часто имеют высокую вычислительную сложность, что затрудняет их применение на масштабных моделях, но служат ориентиром для дальнейших оптимизаций и разработки приближений. В дополнение к исследованию внутри среды активно развивается идея открытого обучения – создание и организация бесконечного множества сред, которые стимулируют модель к постоянному изучению и развитию. Однако формализация такой идеи сталкивается с проблемой отсутствия единой целевой функции или критериев, по которым можно объективно оценивать «интересность» или полезность той или иной среды. В итоге, вероятнее всего, процесс создания и отбора сред останется во многом импровизационным и доминирующим в рамках конкретных областей знаний, где человеческий фактор и экспертные решения сохранят главное значение. Перспективы развития масштабируемого и эффективного исследования связаны с возможностью автоматизации создания сред и путей исследования с помощью уже существующих языковых моделей, что существенно ускорит и удешевит экспериментальные циклы.
