Когда нужно сжимать большие объемы текста на мощном железе, gzip может работать не так эффективно, как хотелось бы. Gzip работает в 1 поток и эффективно будет использовать только одно ядро.

Есть несколько альтернативных утилит, которые сжимают файлы используя все ядра. Одна из них — pigz. Установить ее можно из пакетов:

apt-get install pigz

Для сравнения мы взяли текстовый файл на 4.6Гб и запускали оба архиватора на 8-ядерном сервере:

gzip test.txt
...
done in 25.1s

# Обычный gzip

pigz test.txt
...
done in 7.5s

# Многопоточный pigz

pigz отработал в 4 раза быстрее

Есть и другие инструменты сжатия, которые используют современные процессоры намного эффективнее стандартного gzip’a.