Warum unterscheidet sich die ZIP-Komprimierungsrate je nach Datei so sehr

Haben Sie schon erlebt, dass 「die Datei mit ZIP kaum kleiner wurde」 oder 「die Textdatei nach der Komprimierung dramatisch kleiner wurde」? Die Komprimierungsrate von ZIP variiert je nach Dateityp erheblich. Dieser Artikel erläutert die Gründe und Eigenschaften der einzelnen Dateiformate.

In ZIP verwendeter Komprimierungsalgorithmus: Deflate

Das ZIP-Format (.zip) verwendet hauptsächlich den Algorithmus <strong>Deflate</strong>. Deflate ist eine Kombination der folgenden 2 Technologien.

• <strong>LZ77（Lempel-Ziv 1977）</strong>: Ersetzt wiederholte Muster in Daten durch 「Verweise auf Positionen, an denen sie zuvor aufgetreten sind」
• <strong>Huffman-Codierung</strong>: Zeichen mit hoher Auftrittsfrequenz werden als kurze Bitfolgen dargestellt

<strong>Je mehr wiederholte Muster Daten enthalten, desto höher ist die Kompressionsrate</strong>, während zufällige oder bereits komprimierte Daten kaum komprimiert werden können.

Kompressionsrate nach Dateiformat

Wenn komprimierte Dateien noch größer werden

Beim Komprimieren bereits komprimierter Dateien wie JPEG und MP4 mit ZIP kann die Größe <strong>leicht zunehmen</strong> um den ZIP-Header (Datei-Metadaten). Dies liegt daran, dass das ZIP-Format für jede Datei einen lokalen Datei-Header (mindestens 30 Bytes) und ein zentrales Verzeichnis für die gesamte ZIP-Datei hat.

JPEGファイル (1.00 MB)
 └── ZIP圧縮後: 1.00 MB + ヘッダー（約50B）= わずかに増加

Unterschied zwischen der Verwendung des 「Store」-Modus

ZIP verfügt über einen <strong>Store</strong>-Modus, der Dateien ohne Komprimierung speichert. Wenn Sie mehrere bereits komprimierte Dateien (wie JPEG, MP4 usw.) zusammenfassen, können Sie mit dem Store-Modus die CPU-Last der Komprimierungsverarbeitung eliminieren und gleichzeitig eine vergleichbare Größe beibehalten.

# zip コマンドで圧縮レベルを指定
zip -0 archive.zip image.jpg video.mp4   # Store（圧縮なし）
zip -9 archive.zip data.csv report.txt   # 最大圧縮

# Python で圧縮レベルを指定
import zipfile
with zipfile.ZipFile('archive.zip', 'w', zipfile.ZIP_DEFLATED, compresslevel=9) as zf:
    zf.write('data.csv')

Merkmale der ZIP-Testdatei

Die Test-ZIP-Dateien von DevLab speichern <strong>Zufallsdaten (Pseudo-Zufallsbytefolgen)</strong>, um die Dateigröße präzise zu steuern. Da Zufallsdaten maximale Entropie haben, werden sie durch Deflate kaum komprimiert. Daher gilt: 「10-MB-ZIP-Datei」 = 「etwa 10 MB auch nach dem Entpacken」.

Wenn Sie eine ZIP-Datei benötigen, die nach dem Entpacken eine bestimmte Größe hat, können Sie eine Testdatei mit der folgenden Methode erstellen.

# 解凍後ちょうど 100MB になるZIPを作成（ゼロバイト埋め、高圧縮）
dd if=/dev/zero bs=1M count=100 | zip -9 zero-100mb.zip -

# 解凍後ちょうど 100MB になるZIPを作成（ランダムデータ、ほぼ無圧縮）
dd if=/dev/urandom bs=1M count=100 | zip -0 random-100mb.zip -

Zusammenfassung

• Die ZIP-Komprimierungsrate wird durch die Menge der <strong>wiederholten Datenmuster</strong> bestimmt
• Text, CSV und XML können um <strong>60–85 %</strong> reduziert werden
• JPEG, MP4 und bereits komprimierte Dateien können <strong>kaum komprimiert werden</strong> (tatsächlich nehmen sie leicht zu)
• Beim Zusammenfassen bereits komprimierter Dateien CPU sparen mit <strong>Store-Modus (-0)</strong>
• Die Test-ZIPs von DevLab verwenden Zufallsdaten, daher haben sie vor und nach dem Entpacken ungefähr die gleiche Größe

→ <a href="/ja/files/zip/">ZIP-Testdateien hier herunterladen</a>