С появлением больших языковых моделей и их встраиванием в инструменты разработки, такие как GitHub Copilot, требования к скорости и эффективности токенизации резко возросли. Токенизация - это ключевой процесс преобразования байтов или символов текста в токены, на которых базируется дальнейшая обработка моделей. Однако традиционные алгоритмы токенизации не справлялись с возрастающими нагрузками и масштабами данных. Именно поэтому в GitHub был разработан новый линейный токенизатор, способный значительно повысить скорость и гибкость работы с текстом и кодом. Одним из основных вызовов в токенизации является сложность алгоритмов.
Классические методы, такие как байтовое парное кодирование (BPE), имеют как минимум временную сложность порядка n log n, что сказывалось на производительности при обработке больших объёмов информации. Кроме того, эти алгоритмы не были инкрементальными, то есть не могли эффективно работать с динамически меняющимся или частично загружаемым текстом, что особенно ограничивало интерактивные приложения и сервисы с большим потоком данных. Новое решение GitHub основано на усовершенствованном подходе к байтовому парному кодированию, который позволяет работать с токенами линейно - за время, пропорциональное длине входного текста. Это достигается за счёт особого свойство совместимости токенов и использования эффективных структур данных, таких как автомат Ахо-Корасика для быстрого поиска подстрок. В основе алгоритма лежит принцип последовательного построения валидных разбиений текста на токены.
В отличие от традиционных алгоритмов, которые часто требуют полного знания исходного текста и многократного перебора для выбора оптимальных пар токенов, линейный токенизатор GitHub анализирует текст по мере его поступления, принимая решения о токенах на основе уже полученной информации. Это не только ускоряет процесс, но и делает его более гибким, что имеет критическое значение для приложений, работающих с динамическим вводом и ограниченным временем отклика. Особое внимание команда разработчиков уделила задачам, сопутствующим реальным сценариям использования. В частности, механизм Retrieval Augmented Generation (RAG), активно применяемый в GitHub Copilot, требует быстрой индексации и поиска релевантных фрагментов кода или текста. Этот процесс тесно связан с эффективной токенизацией, так как превышение лимита токенов может привести к ошибкам или существенной задержке ответов.
Новый токенизатор не только позволяет быстро подсчитывать количество токенов в уже обработанных частях текста, но и поддерживает динамическое формирование текстовых фрагментов с контролем бюджета токенов в реальном времени. Скорость работы токенизатора была подтверждена в ряде сравнительных тестов. Он значительно превосходит известные библиотеки, включая tiktoken от OpenAI и Huggingface Tokenizers. В тестах на различного рода входных данных, как на случайных, так и на специальных синтетических паттернах, новый токенизатор показал производительность в несколько раз выше конкурентов и гарантированное линейное время работы даже в худших случаях. Особенно впечатляют результаты на больших объёмах - это доходит до порядка 4-10 раз быстрее по сравнению с существующими решениями.
Кроме того, открытость реализации в рамках проекта на GitHub и публикация в формате Rust crate под лицензией MIT позволяют сообществу разработчиков легко внедрять и расширять токенизатор под собственные нужды. Разработка в Rust обеспечивает безопасность, высокую производительность и возможность интеграции с системами, требующими минимальных накладных расходов. Особо стоит отметить поддержку дополнительных функций, таких как возможность делать быстрые снимки состояния кодировщика и откатывать изменения, осуществлять токенизацию со стороны начала или конца текста, а также вычислять количество токенов для любой части уже обработанного фрагмента за константное время после предварительной обработки. Эти инструменты крайне полезны при построении интерактивных и масштабируемых систем для работы с кодом, например, при создании умных редакторов, анализаторов и систем помощи программистам. Решение GitHub является ответом на быстро меняющиеся требования индустрии, где огромное количество кодов и текстов ежедневно обрабатывается с помощью машинного обучения.
Оно снижает нагрузку на вычислительные ресурсы и повышает стабильность систем, поскольку исключает сценарии с чрезмерным временем обработки, которые могут возникать из-за особенностей входных данных или атак, направленных на нарушение функционирования. Появление такого линейного токенизатора изменит подход к созданию масштабируемых систем обработки естественного языка и кода. Его эффективность позволяет осуществлять токенизацию не только при подготовке данных, но и в интерактивном режиме, что исключает необходимость перезапуска или повторной полной обработки больших текстов при изменениях. Это даёт новую степень контроля и оптимизации для разработчиков продуктов, связанных с ИИ. В итоге, новый токенизатор от GitHub не только решает давно существующую проблему скорости и масштабируемости, но и вводит инновационные методы взаимодействия с процессом токенизации, позволяющие реализовывать более сложные и чувствительные к времени отклика приложения.
Это значительный вклад в развитие открытого программного обеспечения для обработки естественного языка и кодовых данных. С учётом растущей популярности и внедрения больших языковых моделей, таких как те, что используются в GitHub Copilot и других продуктах, технология токенизации становится критической для достижения максимальной производительности и экономичности вычислений. Новое решение от GitHub задаёт новый стандарт в области токенизации, который уже доступен всему сообществу для свободного использования и доработки. Таким образом, линейный токенизатор GitHub - это инструмент, который сочетает скорость, гибкость и надежность, позволяя разработчикам создавать более эффективные и масштабируемые приложения с использованием современных языковых моделей и технологий искусственного интеллекта. Открытость проекта и его превосходная производительность делают его обязательным элементом в инструментарии каждого, кто работает с большими объёмами текста и кода в условиях высоких требований к времени обработки и качеству результатов.
.
