SIMD Within a Register: как я удвоил скорость поиска в хеш-таблице

Юридические новости

Работа с эффективными структурами данных всегда была ключевым аспектом быстродействия современных приложений. Особенно это актуально для хеш-таблиц, с которыми сталкиваются практически все, будь то кеширование, фильтры или базы данных. В поисках оптимального решения я решил исследовать нестандартный подход и применить метод SIMD Within a Register (SWAR), который позволил удвоить скорость поиска элементов в хеш-таблице. История этого улучшения началась с простой идеи: четыре байта, хранящиеся в одной ячейке хеш-таблицы, напоминали мне целое 32-битное число. Это навело на мысль использовать целочисленный тип данных для хранения четырех значений сразу, что дало почву для дальнейших оптимизаций на уровне битовых операций и логики поиска.

В процессе реализации Cuckoo Filter на C# для фильтрации и проверки наличия элементов я создал массив байтов, где каждый бакет представлял собой последовательность из четырех слотов по одному байту — выбранный размер оптимально балансировал размер данных и вероятность ложных срабатываний, составляя около трех процентов. Изначально поиск значений происходил путем последовательного сравнения каждого байта, что было понятно, но не оптимально. Переключение с массива байтов на массив целых 32-битных чисел оказалась простой, но революционной сменой представления. Каждый бакет стал единицей uint, что позволило обращаться к всему набору слотов за одну операцию. Вкус оптимизации почувствовался после замены цикла с проверкой байтов через сдвиги: вместо обращения к отдельным байтам мы двигаем целочисленный сдвиг и извлекаем байт с помощью операции сдвига вправо и приведения к типу byte.

Это сразу дало прирост производительности в среднем на тридцать пять процентов по сравнению с исходным методом последовательного перебора байтов. Однако попытки использовать методы преобразования с помощью BitConverter и Span оказались менее эффективными — дополнительные накладные расходы на промежуточные копирования и проверки приводили к ухудшению времени выполнения. Такое наблюдение подчеркнуло важность минимизации лишних операций при оптимизации критичных по времени частей кода. Следующим шагом и настоящим прорывом стала реализация безусловного поиска с помощью хитрых битовых трюков. Вдохновившись подборкой Sean Anderson и его просмотровыми приемами работы с байтами в словах, я применил известное выражение для отслеживания наличия нулевого байта в 32-битном числе.

Суть алгоритма заключается в том, что по арифметическим свойствам и маскированию можно определить наличие нулевого байта без ветвлений и дорогостоящих циклов. Для этого используется выражение с арифметическими операциями: вычитание специальной константы, побитовое отрицание и применение маски, отсекающей старшие биты каждого байта. Проверка результата не равенства нулю сигнализирует о присутствии в тексте искомого байта. Для того чтобы совместить искомое значение и метод обнаружения нулевых байт, я применил побитовое исключающее ИЛИ (XOR) между целым бакетом и маской, где каждый байт состоит из целевого искомого значения в повторяющемся виде. Преимущество такой операции состоит в том, что байт, совпадающий с маской, превращается в десятичный ноль, а остальные изменяются по-особому, что позволяет определить совпадение сразу для всех четырех позиций без перебора.

Это существенно упрощает алгоритм и минимизирует время выполнения. Преимущество данного подхода не только в элегантности и компактности решения, но и в высоком быстродействии. При экспериментальной проверке метод показал, что время поиска положительного результата снизилось более чем в полтора раза, а поиск отрицательного — даже в два раза быстрее по сравнению с базовой реализацией перебора байтов. В процессе решения я также продемонстрировал как работает логика с уже нулевыми байтами в бакете и при искомом нуле. Битовые манипуляции с XOR обеспечивают корректность алгоритма даже в этих граничных случаях, что делает его надежным и универсальным для большинства реализаций с 8-битными отпечатками.

Несмотря на высокую эффективность, такое решение требует внимательного и аккуратного документирования кода, поскольку высокая плотность битовых операций снижает читабельность и усложняет поддержку. Однако для узкоспециализированных систем и критических секций кода, где производительность стоит во главе угла, жертвовать удобством ради скорости оправдано. Опыт использования SIMD Within a Register в C# для хеш-таблиц доказал, что грамотное применение битовых трюков и интеллектуальной арифметики может значительно улучшить производительность без привлечения сложных внешних библиотек и аппаратных SIMD-инструкций. Это важный урок для разработчиков и инженеров, стремящихся оптимизировать обработку данных с минимальными усилиями и максимально легкой интеграцией в существующий код. В конечном счете, такие подходы хорошо масштабируются и могут быть перенесены на другие языки программирования и задачи, связанные с быстрым поиском, фильтрацией и обработкой множеств.

Инновации на стыке низкоуровневого программирования и алгоритмической инженерии всегда найдут своих поклонников и принесут пользу в реальных приложениях, а описанные методы и советы помогут вдохновиться на собственные эксперименты в области высокопроизводительных вычислений.