[Python] gzip圧縮する方法を詳しく解説

Pythonでファイルをgzip圧縮するには、標準ライブラリのgzipモジュールを使用します。

このモジュールは、ファイルの読み書きに対してopen関数を提供し、gzip形式での圧縮と解凍をサポートします。

圧縮する際には、gzip.openを使ってファイルを開き、通常のファイル操作と同様にデータを書き込みます。

また、圧縮レベルを指定することも可能で、圧縮効率と速度のバランスを調整できます。

gzip形式は、テキストファイルやログファイルの圧縮に適しており、データ転送やストレージの効率化に役立ちます。

gzipモジュールの概要

gzipとは？

gzipは、GNUプロジェクトによって開発されたデータ圧縮プログラムで、主にファイルサイズを小さくするために使用されます。

特に、テキストデータの圧縮に優れており、Webサーバーでのデータ転送を効率化するためによく利用されます。

Pythonでは、標準ライブラリとしてgzipモジュールが提供されており、簡単にgzip形式のファイルを圧縮・解凍することができます。

gzipモジュールの基本機能

Pythonのgzipモジュールには、以下のような基本機能があります。

gzipと他の圧縮形式の比較

gzipは、他の圧縮形式と比較していくつかの特徴があります。

以下の表に、gzipと一般的な圧縮形式の違いを示します。

gzipは、特にWeb関連のアプリケーションで広く使用されており、データ転送の効率を向上させるために非常に有用です。

gzip圧縮の基本

gzipモジュールのインポート方法

Pythonでgzip圧縮を行うためには、まずgzipモジュールをインポートする必要があります。

以下のコードを使用して、モジュールをインポートします。

import gzip

このインポート文をプログラムの先頭に追加することで、gzipモジュールの機能を使用できるようになります。

基本的な圧縮方法

gzipモジュールを使用してファイルを圧縮する基本的な方法は、gzip.open()関数を利用します。

以下は、テキストファイルをgzip形式で圧縮するサンプルコードです。

import gzip
# 圧縮するテキストデータ
data = b'これはgzip圧縮のサンプルデータです。'
# gzip形式でファイルに書き込む
with gzip.open('sample.gz', 'wb') as f:
    f.write(data)

このコードを実行すると、sample.gzという名前の圧縮ファイルが作成され、指定したデータが圧縮されて保存されます。

基本的な解凍方法

gzip形式で圧縮されたファイルを解凍するには、再びgzip.open()関数を使用します。

以下は、先ほど圧縮したファイルを解凍するサンプルコードです。

import gzip
# gzip形式のファイルを解凍する
with gzip.open('sample.gz', 'rb') as f:
    decompressed_data = f.read()
print(decompressed_data.decode('utf-8'))

このコードを実行すると、圧縮されたデータが解凍され、元のテキストデータが表示されます。

解凍されたデータは、decompressed_data変数に格納され、print関数を使って出力されます。

ファイルの圧縮と解凍

テキストファイルの圧縮

テキストファイルをgzip形式で圧縮する方法は非常に簡単です。

以下のサンプルコードでは、テキストファイルを読み込み、その内容をgzip形式で圧縮して新しいファイルに保存します。

import gzip
# 圧縮するテキストファイルのパス
input_file = 'example.txt'
output_file = 'example.gz'
# テキストファイルをgzip形式で圧縮
with open(input_file, 'rb') as f_in:
    with gzip.open(output_file, 'wb') as f_out:
        f_out.writelines(f_in)

このコードを実行すると、example.txtの内容がexample.gzという名前の圧縮ファイルに保存されます。

バイナリファイルの圧縮

バイナリファイルもgzip形式で圧縮することができます。

以下のサンプルコードでは、バイナリファイルをgzip形式で圧縮する方法を示します。

import gzip
# 圧縮するバイナリファイルのパス
input_file = 'image.png'
output_file = 'image.gz'
# バイナリファイルをgzip形式で圧縮
with open(input_file, 'rb') as f_in:
    with gzip.open(output_file, 'wb') as f_out:
        f_out.writelines(f_in)

このコードを実行すると、image.pngがimage.gzという名前の圧縮ファイルに保存されます。

バイナリデータも同様に圧縮できます。

圧縮ファイルの解凍

圧縮されたファイルを解凍する方法も簡単です。

以下のサンプルコードでは、gzip形式のファイルを解凍して元のファイルを復元します。

import gzip
# 解凍するgzipファイルのパス
input_file = 'example.gz'
output_file = 'example.txt'
# gzip形式のファイルを解凍
with gzip.open(input_file, 'rb') as f_in:
    with open(output_file, 'wb') as f_out:
        f_out.writelines(f_in)

このコードを実行すると、example.gzが解凍され、元のexample.txtファイルが復元されます。

圧縮レベルの設定

gzipモジュールでは、圧縮レベルを設定することができます。

圧縮レベルは0から9までの整数で、0は圧縮しない、1は最も速い圧縮、9は最も高い圧縮率を意味します。

以下のサンプルコードでは、圧縮レベルを指定してファイルを圧縮します。

import gzip
# 圧縮するテキストファイルのパス
input_file = 'example.txt'
output_file = 'example_high_compression.gz'
# 圧縮レベルを指定してgzip形式で圧縮
with open(input_file, 'rb') as f_in:
    with gzip.open(output_file, 'wb', compresslevel=9) as f_out:
        f_out.writelines(f_in)

このコードを実行すると、example.txtが圧縮レベル9でexample_high_compression.gzという名前の圧縮ファイルに保存されます。

圧縮レベルを調整することで、速度と圧縮率のバランスを取ることができます。

メモリ内での圧縮と解凍

BytesIOを使った圧縮

BytesIOを使用すると、メモリ内でデータを圧縮することができます。

これにより、ファイルシステムに依存せずにデータを扱うことが可能です。

以下のサンプルコードでは、BytesIOを使ってテキストデータをgzip形式で圧縮します。

import gzip
from io import BytesIO
# 圧縮するテキストデータ
data = b'これはメモリ内でgzip圧縮されるデータです。'
# BytesIOを使用してメモリ内で圧縮
buffer = BytesIO()
with gzip.GzipFile(fileobj=buffer, mode='wb') as f:
    f.write(data)
# 圧縮されたデータを取得
compressed_data = buffer.getvalue()

このコードを実行すると、compressed_dataにgzip形式で圧縮されたデータが格納されます。

BytesIOを使った解凍

メモリ内で圧縮したデータを解凍することも可能です。

以下のサンプルコードでは、先ほど圧縮したデータを解凍します。

import gzip
from io import BytesIO
# 圧縮されたデータを解凍
buffer = BytesIO(compressed_data)
with gzip.GzipFile(fileobj=buffer, mode='rb') as f:
    decompressed_data = f.read()
print(decompressed_data.decode('utf-8'))

このコードを実行すると、圧縮されたデータが解凍され、元のテキストデータが表示されます。

メモリ内での圧縮と解凍の利点

メモリ内での圧縮と解凍にはいくつかの利点があります。

以下にその主な利点を示します。

• 高速性: ディスクI/Oを行わないため、圧縮・解凍の速度が向上します。
• 効率的なリソース使用: 一時ファイルを作成する必要がないため、ストレージの使用を最小限に抑えられます。
• 柔軟性: データを直接メモリで操作できるため、ネットワーク通信やデータベース操作など、さまざまなシナリオで利用できます。
• 簡潔なコード: ファイルの読み書きに関するコードが不要になり、よりシンプルな実装が可能です。

これらの利点により、メモリ内での圧縮と解凍は、特にパフォーマンスが重要なアプリケーションで非常に有用です。

応用例

複数ファイルの一括圧縮

複数のファイルを一括で圧縮するには、tarfileモジュールとgzipモジュールを組み合わせて使用します。

以下のサンプルコードでは、複数のテキストファイルを一つのgzip圧縮ファイルにまとめます。

import tarfile
# 圧縮するファイルのリスト
file_list = ['file1.txt', 'file2.txt', 'file3.txt']
output_file = 'archive.tar.gz'
# 複数ファイルを一括圧縮
with tarfile.open(output_file, 'w:gz') as tar:
    for file in file_list:
        tar.add(file)

このコードを実行すると、file1.txt、file2.txt、file3.txtがarchive.tar.gzという名前の圧縮ファイルにまとめられます。

圧縮ファイルのストリーミング処理

圧縮ファイルをストリーミング処理することで、大きなデータを効率的に扱うことができます。

以下のサンプルコードでは、gzip形式のファイルをストリーミングで読み込み、内容を処理します。

import gzip
# ストリーミングでgzipファイルを読み込む
with gzip.open('large_file.gz', 'rb') as f:
    for line in f:
        # 各行を処理する
        print(line.decode('utf-8').strip())

このコードを実行すると、large_file.gzの内容が一行ずつ読み込まれ、処理されます。

メモリを効率的に使用しながら、大きなファイルを扱うことができます。

圧縮データのネットワーク送信

圧縮データをネットワーク経由で送信する場合、データをgzip形式で圧縮してから送信することで、帯域幅を節約できます。

以下のサンプルコードでは、圧縮データをソケットを通じて送信する例を示します。

import socket
import gzip
from io import BytesIO
# ソケットの設定
server_address = ('localhost', 65432)
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.connect(server_address)
# 送信するデータ
data = b'これはネットワーク送信されるデータです。'
# データをgzip圧縮
buffer = BytesIO()
with gzip.GzipFile(fileobj=buffer, mode='wb') as f:
    f.write(data)
# 圧縮データを送信
sock.sendall(buffer.getvalue())
sock.close()

このコードを実行すると、圧縮されたデータが指定したサーバーに送信されます。

受信側では、データを解凍して元の内容を取得できます。

圧縮データのデータベース保存

圧縮データをデータベースに保存することで、ストレージの使用量を削減できます。

以下のサンプルコードでは、SQLiteデータベースにgzip形式で圧縮したデータを保存します。

import sqlite3
import gzip
from io import BytesIO
# SQLiteデータベースに接続
conn = sqlite3.connect('example.db')
c = conn.cursor()
# テーブルの作成
c.execute('CREATE TABLE IF NOT EXISTS compressed_data (id INTEGER PRIMARY KEY, data BLOB)')
# 圧縮するデータ
data = b'これはデータベースに保存されるデータです。'
# データをgzip圧縮
buffer = BytesIO()
with gzip.GzipFile(fileobj=buffer, mode='wb') as f:
    f.write(data)
# 圧縮データをデータベースに保存
c.execute('INSERT INTO compressed_data (data) VALUES (?)', (buffer.getvalue(),))
conn.commit()
conn.close()

このコードを実行すると、圧縮されたデータがSQLiteデータベースに保存されます。

データを取り出す際には、解凍して元のデータを復元することができます。

まとめ

この記事では、Pythonのgzipモジュールを使用した圧縮と解凍の基本から応用例までを解説しました。

gzip圧縮の利点や使い方を振り返ることで、データの効率的な管理が可能になります。

ぜひ、実際のプロジェクトでgzip圧縮を活用してみてください。