Почему копирование тысячи маленьких файлов медленнее одного большого?

Копирование тысячи маленьких файлов часто медленнее, чем одного большого с тем же общим объёмом, потому что для каждого файла системе приходится отдельно найти запись в каталоге, проверить права и атрибуты, открыть объект, создать его копию, передать данные, записать метаданные и закрыть файл. У большого файла основная часть времени уходит на последовательный перенос содержимого, поэтому накладные расходы повторяются гораздо реже.

Копирование – это не только передача байтов

Когда пользователь запускает копирование, компьютер должен определить путь источника и место назначения. Для каждого объекта он получает имя, размер, временные отметки и другую служебную информацию. Затем система создаёт файл назначения, выделяет место на накопителе, переносит содержимое и записывает обновлённые метаданные.

Одна большая запись обычно позволяет передавать данные длинными последовательными блоками. Накопителю проще продолжать запись рядом с уже сохранёнными данными, а операционная система может объединять операции в буферы. Если же объём разбит на тысячи крошечных файлов, передача часто прерывается на короткие записи и переходы между отдельными объектами.

Даже пустой файл требует действий: его нужно создать, назвать и внести сведения в файловую систему. Файл размером в несколько байтов иногда требует почти столько же операций открытия и создания, сколько файл заметно большего размера. Поэтому при множестве мелких файлов служебная работа может занимать больше времени, чем передача самих данных.

Почему метаданные имеют значение

Файловая система хранит не только содержимое. Она ведёт каталоги, таблицы размещения, права доступа, владельца, дату изменения и другие атрибуты. При переносе одного большого файла большая доля работы приходится на непрерывное чтение и запись данных. Для набора из тысячи объектов метаданные нужно обновить для каждой записи.

Часть операций зависит от расположения файлов. Если исходные данные разбросаны по диску, головке механического накопителя приходится перемещаться между участками. На твердотельном накопителе нет движущейся головки, но запросы, переключение задач, очередь операций и обращения к файловой системе всё равно имеют стоимость.

При копировании по сети добавляется протокол обмена. Для каждого файла могут выполняться запросы на создание, подтверждения и запись. Система должна сообщить удалённому компьютеру, где сохранить новый объект и какие атрибуты ему назначить. Даже если содержимое мало, число сетевых обменов растёт вместе с числом файлов.

Почему один большой файл легче передать

Если общий объём, например, составляет один гигабайт, один архивный файл можно передавать крупными блоками. После завершения система создаёт одну запись и закрывает один объект. Тысяча маленьких файлов того же суммарного размера требует тысячи наборов операций. Дополнительное время складывается из задержек на каждое открытие, создание и подтверждение, а не только из скорости канала или диска.

Архиваторы используют этот эффект: они упаковывают множество объектов в один контейнер. Это уменьшает число файлов, которые нужно передавать как отдельные объекты, и может дополнительно сжать данные. Для фотографий и видео с уже сжатым содержимым экономия объёма обычно невелика, но уменьшение количества файлов всё равно может ускорить перенос, особенно по медленной сети.

Архивирование имеет и обратную сторону. Перед использованием содержимое нужно распаковать, а при частичном обновлении может потребоваться пересоздать или снова передать контейнер. Поэтому упаковка особенно удобна для разовой передачи коллекции, резервного копирования и загрузки множества мелких объектов.

От чего ещё зависит скорость

Имеют значение размер файлов, тип накопителя, загрузка компьютера, антивирусная проверка и способ копирования. Защитная программа может просматривать каждый новый файл, поэтому большое количество объектов увеличивает число проверок. Сжатие в реальном времени также требует процессорного времени.

Если файлы очень маленькие, основное содержимое легко помещается в кэш и копируется почти мгновенно; тогда решающими становятся обращения к каталогу и создание записей. Если файл большой, а накопитель медленный, скорость последовательной записи может стать главным ограничением. Поэтому нет универсального коэффициента, во сколько раз один сценарий быстрее другого.

Разные файловые системы по-разному организуют метаданные, но необходимость учитывать множество независимых объектов сохраняется. В статье какая файловая система лучше сравниваются свойства самих систем хранения. А о том, почему USB-накопитель показывает меньше гигабайт, чем указано на упаковке, рассказывает материал почему флешка показывает меньше гигабайт: там разница связана с единицами измерения и служебной структурой, а не со скоростью копирования.

Почему прогресс копирования иногда замирает

Проводник может долго показывать один и тот же процент, когда обрабатывает особенно много мелких объектов или ждёт ответа от сети. Процент часто рассчитывается по объёму байтов, а не по равному времени на каждый файл. Несколько десятков крупных файлов могут передаться быстро, после чего тысячи маленьких будут долго создаваться и проверяться, хотя отображаемый прогресс почти не изменится.

Копирование также может замедлиться, если назначения не хватает места, каталог содержит очень много объектов, накопитель перегревается или параллельно выполняются другие задачи. При повреждённом источнике система повторяет чтение или сообщает об ошибке. В сетевой папке задержка маршрутизатора и сервера добавляет свои паузы.

Если важна скорость, можно передавать небольшие коллекции в архиве, использовать быстрый интерфейс подключения и не запускать одновременно тяжёлые задачи на том же накопителе. Но если файлы должны остаться отдельными для удобства работы, после передачи их всё равно придётся создать по одному.

Итак, тысячи маленьких файлов требуют множества отдельных операций с метаданными и объектами, поэтому их перенос обычно медленнее, чем передача одного большого файла равного объёма. Разница особенно заметна в сети и на медленных накопителях. Архив сокращает количество объектов при передаче, но итоговая скорость зависит от устройства, файловой системы и программы копирования.

Почему архивирование иногда ускоряет перенос

Архиватор объединяет много объектов в один контейнер. При передаче через сеть это может сократить число отдельных запросов и операций открытия, особенно когда файлы крошечные и плохо сжимаются из-за служебных затрат. Если данные хорошо сжимаются, архив также уменьшает объём байтов, которые нужно отправить. Но после передачи архив требуется распаковать, поэтому общая экономия зависит от скорости процессора, накопителя и сети.

Сжатие почти не помогает уже сжатым форматам: фотографии JPEG, видео и многие музыкальные файлы повторно уменьшаются слабо. Для них архивирование снижает прежде всего число объектов, а не суммарный объём. Архив может быть неудобен, если нужно часто менять один файл: тогда нужна дополнительная распаковка или переупаковка.

Копирование также упирается в метаданные. Операционной системе важно сохранить имена, временные метки, права доступа и структуру каталогов. Чем глубже дерево папок, тем больше операций приходится выполнить. Некоторые файловые системы или сетевые протоколы обрабатывают их эффективнее, но универсального обещания скорости нет. Сравнение в статье какая файловая система лучше помогает понять, почему форматирование влияет на совместимость и служебные действия.

Тип накопителя тоже имеет значение. Флеш-память, жесткий диск и сетевое хранилище по-разному справляются со случайными обращениями. На диске с вращающимися пластинами переход между множеством мест может быть особенно дорогим. На твердотельном накопителе задержки ниже, но миллионы мелких операций всё равно занимают время. Поэтому важна не только последовательная скорость, но и тип нагрузки.

Для оценки полезно сравнить один и тот же набор файлов на одном устройстве: сначала передать мелкие файлы, затем архив сопоставимого размера и учесть распаковку. Если медленно передаётся и один большой файл, причина вероятнее в интерфейсе, кабеле, сети или состоянии накопителя.