Формат архивации Tar является одним из старейших и наиболее широко используемых в мире Unix и Linux систем. Его история насчитывает более четырех десятилетий, и за это время формат претерпел множество изменений и расширений. Несмотря на свою первоначальную простоту, Tar со временем стал весьма сложным форматом с множеством вариаций и нестандартных расширений. Высокая популярность формата и разнообразие его реализаций приводят к важному вопросу: насколько портативными являются различные особенности Tar и насколько надежно архивы, созданные одной программой, будут восприниматься другими? Эта тема остается актуальной для разработчиков, системных администраторов и пользователей, работающих с бэкапами, установочными пакетами и архивами, содержащими важные данные. История и основные варианты формата Tar Начальный формат Tar был создан в Unix Version 7 и весьма ограничивал пользователей: максимальная длина пути составляла 99 символов, размер файла не мог превышать 8 гигабайт, информация о пользователях и группах передавалась исключительно в числовом формате, а также поддерживались лишь три типа файлов – обычные, жесткие ссылки и символические ссылки.
Позднее был принят стандарт POSIX 1003.1-1988, известный как ustar, который добавил ряд улучшений, например увеличил поддержку длинных путей до 256 символов благодаря введению префикса пути, расширил типы файлов и стал использовать специальные «магические» байты и версионные поля заголовка. Позже появился формат pax, который расширил возможности ustar, позволяя хранить произвольные атрибуты файлов посредством специальных членов архива. Благодаря этому можно обойти ограничения по длине пути, размеру файла и точности временных меток. Формат GNU tar, эволюционировавший отдельно от POSIX, содержит собственные расширения, включающие дополнительные временные атрибуты, поддержку длинных путей через специальные предшествующие членам архивов метки, а также поддержку многочастных архивов.
Существуют также специальные форматы, используемые утилитой star и SunOS, которые имеют свои особенности и несовместимости с остальными вариантами. Особенно примечателен формат star-старого образца, который технически отличается от ustar и GNU tar, но по умолчанию трактуется большинством реализаций как базовый v7 Tar. Совместимость и поддержка базовых форматов Исследования совместимости различных реализаций показывают, что базовые форматы v7, ustar и GNU tar поддерживаются практически всеми популярными утилитами, включая GNU tar, libarchive (bsdtar), star, NetBSD pax, BusyBox tar, Python tarfile, а также Windows-ориентированными инструментами, такими как 7-Zip и WinRAR. Формат pax поддерживается менее однородно – некоторые утилиты просто извлекают его расширенные атрибуты как отдельные файлы, что ведет к появлению «мусорных» файлов в каталоге. Особенности длинных путей и больших размеров файлов Одним из наиболее распространенных ограничений является длина пути.
v7 format ограничен 99 символами, однако ustar увеличивает этот лимит до 256 символов за счет использования дополнительного префиксного поля. Если путь превышает этот размер, pax и GNU tar используют свои методы хранения длинных путей через расширенные атрибуты или отдельные специальные члены с длинными именами. Поддержка таких длинных путей крайне важна в современных системах, где глубина каталогов и длина имен файлов часто превышают устаревшие лимиты. Наиболее универсальным и удобным способом признан формат GNU tar с его возможностями. Однако часть устаревших и облегченных реализаций, например BusyBox, не всегда корректно обрабатывают старые форматы с отсутствием расширений.
Размер файлов также является критическим фактором – v7 ограничивается 8 гигабайтами, тогда как ustar допускает некоторые расширения. GNU tar и pax позволяют использовать более гибкие способы кодирования размера, включая 12-значные восьмеричные числа и base-256 – двоичное представление с большим числом разрядов, что обеспечивает поддержку файлов размером до 32768 йобибайт. Это особенно актуально для архивирования гигантских данных и резервного копирования серверов и хранилищ. Однако не все реализации поддерживают чтение таких расширений: к примеру, NetBSD pax не всегда понимает base-256 и pax-форматы размеров, что делает архивы с большими файлами менее совместимыми. Пользовательская и групповая информация Важным аспектом остается хранение информации о пользователе и группе, которому принадлежит файл, что влияет на безопасность и права доступа при восстановлении.
В v7 формате для этого используются только числовые идентификаторы, что приводит к несовпадениям при переносе архивов между разными системами с иными UID/GID. Форматы ustar и GNU tar добавляют поля для хранения имен пользователей и групп размером до 31 символа, что улучшает переносимость. Pax расширяет эти возможности еще больше, позволяя хранить и более крупные числовые значения, и более длинные имена. Однако поддержка остается неуниверсальной. Некоторые утилиты, особенно на Windows, не обрабатывают информацию о пользователях.
Также обнаружены случаи, когда GNU tar соединяет значения пользователя и группы с последующими полями при отсутствии завершающих нулей, что приводит к некорректной интерпретации. Точные временные метки и дополнительные атрибуты Классический формат Tar позволяет сохранять только время последней модификации файла (mtime). Форматы GNU tar и star добавили хранение времени доступа (atime) и создания (ctime), хотя их поддержка ограничена. Pax наиболее продвинут по части временных атрибутов, позволяя сохранять мта, ата и цта с высокой точностью и в формате с плавающей точкой. Тем не менее восстановление времени доступа и создания, равно как и работы с отрицательными временными метками (например, для архивов с допериодом 1970 года), поддерживается немногими реализациями.
GNU tar, libarchive и star – три лидера в этом направлении. Остальные инструменты либо игнорируют эти поля, либо обрабатывают некорректно. Поддержка расширенных атрибутов и файловых флагов Современные системы используют расширенные атрибуты файлов (xattr), такие как ACL, различные флаги безопасности и метаданные. Tar в формате pax поддерживает хранение этих данных через специальные ключи SCHILY.* и LIBARCHIVE.
*. Среди популярных утилит только GNU tar, libarchive и star обеспечивают корректную обработку расширенных атрибутов и ACL. Однако поддержка флагов файлов ограничена и несовместима между разными реализациями, что требует осторожного использования при необходимости совместного использования архивов на разных платформах. Архивирование разреженных файлов (sparse files) Формат Tar по умолчанию архивирует разреженные файлы, заполняя пустые области нулями, что негативно сказывается на размере архива. GNU tar и star разработали собственные, но несовместимые между собой способы хранения информации о разреженных областях, расширяя заголовки дополнительными блоками данных.
Libarchive и Python tarfile частично поддерживают эти форматы, в то время как многие другие инструменты либо игнорируют специальную информацию, восстанавливая файлы с нулями, либо вовсе не могут обработать разреженные файлы. Таким образом, для достижения совместимости с архивами, содержащими разреженные файлы, рекомендуется использовать вышеперечисленные реализации и тестировать архивы на целевых системах. Использование меток томов и многочастных архивов Функция меток томов является расширением GNU tar и star и направлена на улучшение управления архивами, особенно для долгосрочного хранения и идентификации. Однако ее поддержка крайне ограничена. Некоторые программы воспринимают метки как обычные файлы и извлекают их в каталог, другие – игнорируют или вовсе отвергают архив.
Pax-формат обеспечивает более гибкий способ хранения меток томов, но при этом из-за особенностей реализации вероятность появления лишних файлов остается во всех поддержках этого расширения. Многочастные архивы, изначально предназначенные для ленты и других последовательных носителей, требуют поддержки специальных типов членов с указанием продолжения. GNU tar и star реализуют это, но совместимость с другими реализациями невысока: многие инструменты извлекают только первый том и игнорируют остальные или ошибаются при разборе продолжений. В силу неудобства и снижения совместимости, применение многочастных архивов рекомендуется заменять использованием утилит типа split, разрезающих архивы на части простейшим образом. Рекомендации по обеспечению портативности архивов Tar Для максимальной совместимости рекомендуется по возможности использовать строгий стандарт POSIX ustar.
Он широко поддерживается и избегает множества проблем с нестандартными расширениями. Однако если необходима поддержка длинных путей и больших файлов, лучше применять формат GNU tar с поддержкой base-256 кодирования размера и длинных путей через специализированные метки, поскольку он обладает отличной поддержкой во многих современных утилитах. Если требуется сохранение расширенных функций, таких как атрибуты ACL, дополнительные временные метки, расширенные данные пользователя и группы, целесообразно использовать формат pax, который обеспечивает большую гибкость, но при этом может снижать совместимость и порождать дополнительные файлы в каталоге при извлечении архивов в утилитах с неполной поддержкой. Использование объемных функций, таких как метки томов и многочастные архивы, следует тщательно планировать, учитывая низкую универсальную поддержку и предпочтение использования внешних средств для разбиения архивов и их маркировки. Заключение Формат Tar, несмотря на свою древность и простоту изначальной спецификации, сегодня представляет собой сложное переплетение стандартов и расширений.
