【C#】GZip解凍のやり方:標準ライブラリとNuGet活用での実装ポイント
C#なら標準のSystem.IO.Compression.GZipStream
で.gz
を素早く展開できます。
FileStream
で圧縮ファイルを開き、new GZipStream(fs, CompressionMode.Decompress)
を通して出力ストリームへCopyTo
するだけです。
大容量でもストリーム転送なのでメモリ効率が高く、外部ライブラリなしでクロスプラットフォームに動作します。
CRC検証や多形式に対応したい場合はSharpZipLib
をNuGetで追加すると便利です。
GZipの基礎知識
GZipはファイル圧縮のためのフォーマットの一つで、主にファイルサイズを小さくして転送や保存を効率化する目的で使われています。
C#でGZipファイルを扱う際には、このフォーマットの基本的な仕組みを理解しておくと、より適切な実装やトラブルシューティングが可能になります。
圧縮アルゴリズムの特徴
GZipは主にDeflateアルゴリズムを用いてデータを圧縮します。
DeflateはLZ77圧縮とハフマン符号化を組み合わせた方式で、データの繰り返しパターンを効率的に圧縮することが特徴です。
- LZ77圧縮
データの中で繰り返される文字列を参照に置き換えることで、冗長な情報を削減します。
これにより、同じパターンが何度も現れる場合に圧縮率が高まります。
- ハフマン符号化
出現頻度の高いデータに短いビット列を割り当て、全体のビット数を減らします。
これにより、圧縮後のデータがさらに小さくなります。
Deflateは高速かつ高圧縮率を両立しているため、GZipはWeb通信やログファイルの圧縮など幅広い用途で利用されています。
ヘッダーとフッターの構成
GZipファイルは単なる圧縮データの塊ではなく、ファイルの先頭と末尾に特定の情報を持つ構造になっています。
これにより、解凍時に正しくデータを復元できるようになっています。
部分 | 内容 |
---|---|
ヘッダー | マジックナンバー、圧縮方式、タイムスタンプ、ファイル名などのメタ情報 |
圧縮データ | Deflateアルゴリズムで圧縮された実際のデータ |
フッター | CRC32チェックサム、元のデータサイズ(バイト単位) |
- マジックナンバー
GZipファイルの先頭には必ず0x1F8B
という2バイトの識別子があり、これによってファイルがGZip形式であることが判別できます。
- タイムスタンプ
元のファイルの最終更新日時が格納されており、解凍後のファイルに反映させることが可能です。
- CRC32チェックサム
解凍後のデータが正しく復元されたかを検証するための値で、データの破損を検出できます。
このような構成により、GZipファイルは単なる圧縮データ以上の情報を持ち、信頼性の高い圧縮フォーマットとなっています。
GZipとDeflateの関係
GZipは圧縮フォーマットの名前であり、Deflateはその中で使われる圧縮アルゴリズムの名前です。
つまり、GZipはDeflate圧縮データにヘッダーやフッターの情報を付加したラッパーのような役割を果たしています。
- Deflate単体
Deflateは圧縮・解凍のアルゴリズムであり、圧縮データの形式としてはZIPファイルやHTTP圧縮など様々な場面で使われています。
ただし、Deflate単体にはファイルのメタ情報やチェックサムは含まれていません。
- GZipフォーマット
Deflate圧縮データに加えて、ファイルの識別情報やエラーチェック用のCRC32を付加しています。
これにより、単一ファイルの圧縮に適したフォーマットとなっています。
C#のGZipStream
クラスは、このGZipフォーマットの圧縮・解凍をサポートしており、Deflateアルゴリズムを内部で利用しています。
したがって、GZipファイルの解凍はDeflateの復号処理に加えて、ヘッダー・フッターの解析も行われています。
この関係を理解しておくと、例えばDeflate圧縮データを直接扱う場合とGZipファイルを扱う場合の違いが明確になり、適切なAPIやライブラリの選択がしやすくなります。
標準ライブラリでの解凍手順
GZipStreamクラスの概要
.NETの標準ライブラリでGZipファイルを解凍する際に中心となるのがSystem.IO.Compression
名前空間のGZipStream
クラスです。
このクラスはストリームベースで圧縮・解凍を行うため、ファイルだけでなくメモリやネットワークストリームなど様々なデータソースに対応できます。
インスタンス化とモード指定
GZipStream
を使う際は、コンストラクタで元となるストリームと圧縮モードを指定します。
解凍の場合はCompressionMode.Decompress
を指定します。
using System.IO;
using System.IO.Compression;
var fileStream = new FileStream("sample.gz", FileMode.Open);
var gzipStream = new GZipStream(fileStream, CompressionMode.Decompress);
この例では、fileStream
がGZip圧縮されたファイルの読み込み元で、gzipStream
は解凍用のストリームとして機能します。
GZipStream
はラップするストリームの上に乗る形で動作し、読み込むと自動的に解凍処理が行われます。
Disposeパターンの重要性
GZipStream
はIDisposable
を実装しているため、使用後は必ずDispose
を呼び出してリソースを解放する必要があります。
これを怠るとファイルハンドルが解放されず、ファイルロックやメモリリークの原因になります。
一般的にはusing
文を使って自動的に解放するのが推奨されます。
using (var fileStream = new FileStream("sample.gz", FileMode.Open))
using (var gzipStream = new GZipStream(fileStream, CompressionMode.Decompress))
{
// 解凍処理
}
このように書くと、スコープを抜けるときにDispose
が自動的に呼ばれます。
ファイルからファイルへ解凍する流れ
FileStreamの設定ポイント
解凍元と解凍先の両方にFileStream
を使う場合、ファイルの開き方に注意が必要です。
読み込み元はFileMode.Open
で読み取り専用にし、書き込み先はFileMode.Create
で新規作成または上書きします。
var inputFile = new FileStream("input.gz", FileMode.Open, FileAccess.Read);
var outputFile = new FileStream("output.txt", FileMode.Create, FileAccess.Write);
ファイルアクセスの指定を明確にすることで、ファイルの競合やアクセス権限の問題を防げます。
Stream.CopyToでの転送
GZipStream
はストリームなので、解凍したデータを別のストリームに書き出すにはCopyTo
メソッドが便利です。
これによりバッファリングやループ処理を自分で書かずに済みます。
using (var inputFile = new FileStream("input.gz", FileMode.Open))
using (var gzipStream = new GZipStream(inputFile, CompressionMode.Decompress))
using (var outputFile = new FileStream("output.txt", FileMode.Create))
{
gzipStream.CopyTo(outputFile);
}
このコードは、input.gz
を解凍してoutput.txt
に書き出すシンプルな例です。
MemoryStreamを用いたメモリ内展開
ファイルをディスクに書き出さずにメモリ上で解凍したい場合は、MemoryStream
を活用します。
例えば、ネットワークから受信したGZip圧縮データをそのままメモリで解凍して処理したい場合に有効です。
byte[] compressedData = GetCompressedData(); // 圧縮データを取得
using (var compressedStream = new MemoryStream(compressedData))
using (var gzipStream = new GZipStream(compressedStream, CompressionMode.Decompress))
using (var decompressedStream = new MemoryStream())
{
gzipStream.CopyTo(decompressedStream);
byte[] decompressedData = decompressedStream.ToArray();
// decompressedDataを文字列やバイナリとして利用可能
}
この方法はファイルI/Oのオーバーヘッドを避けられ、リアルタイム処理や小規模データの展開に適しています。
バッファリングとパフォーマンス最適化
CopyTo
メソッドは内部でバッファを使ってデータを転送しますが、バッファサイズを指定することでパフォーマンスを調整できます。
デフォルトは81920バイトですが、環境やファイルサイズによって最適値は変わります。
gzipStream.CopyTo(outputFile, bufferSize: 16384);
小さすぎるバッファはI/O回数が増えて遅くなり、大きすぎるバッファはメモリ消費が増えます。
実際の環境でベンチマークを取りながら調整すると良いでしょう。
大容量ファイルへのアプローチ
分割読み込みの考え方
非常に大きなGZipファイルを解凍する場合、一度に全てをメモリに読み込むのは非効率でメモリ不足の原因になります。
GZipStream
はストリームベースなので、分割して読み込むことが可能です。
byte[] buffer = new byte[8192];
int bytesRead;
while ((bytesRead = gzipStream.Read(buffer, 0, buffer.Length)) > 0)
{
outputFile.Write(buffer, 0, bytesRead);
}
このようにループで少しずつ読み書きすることで、メモリ使用量を一定に保ちながら処理できます。
進捗表示の実装
大容量ファイルの解凍では処理時間が長くなるため、進捗を表示するとユーザー体験が向上します。
FileStream
のLength
プロパティとPosition
プロパティを使って、読み込みの進捗を計算できます。
long totalLength = inputFile.Length;
long totalRead = 0;
byte[] buffer = new byte[8192];
int bytesRead;
while ((bytesRead = gzipStream.Read(buffer, 0, buffer.Length)) > 0)
{
outputFile.Write(buffer, 0, bytesRead);
totalRead += bytesRead;
Console.WriteLine($"解凍進捗: {totalRead * 100 / totalLength}%");
}
ただし、GZipファイルは圧縮データのため、inputFile.Length
は圧縮後のサイズであり、解凍後のサイズとは異なります。
正確な進捗を出すには、解凍後のサイズが分かっている場合や、別途メタ情報を利用する必要があります。
とはいえ、圧縮ファイルの読み込み進捗としては十分参考になります。
非同期処理への展開
CopyToAsyncとawait
GZipStream
を使った解凍処理は、同期的に行うと大きなファイルやネットワーク越しのデータで処理がブロックされ、UIの応答が悪くなったりスループットが低下したりします。
そこで、非同期メソッドCopyToAsync
を活用して、効率的に解凍処理を行います。
CopyToAsync
はストリームの内容を非同期で別のストリームにコピーするメソッドで、await
と組み合わせることで処理完了まで待機しつつ、スレッドをブロックしません。
using System;
using System.IO;
using System.IO.Compression;
using System.Threading.Tasks;
class Program
{
static async Task Main()
{
string inputFile = "input.gz";
string outputFile = "output.txt";
using (var inputStream = new FileStream(inputFile, FileMode.Open, FileAccess.Read))
using (var gzipStream = new GZipStream(inputStream, CompressionMode.Decompress))
using (var outputStream = new FileStream(outputFile, FileMode.Create, FileAccess.Write))
{
await gzipStream.CopyToAsync(outputStream);
}
Console.WriteLine("非同期解凍が完了しました。");
}
}
非同期解凍が完了しました。
このコードは、CopyToAsync
を使って非同期に解凍データをoutput.txt
に書き出しています。
await
により、処理が完了するまで待機しつつ、UIスレッドや呼び出し元のスレッドはブロックされません。
キャンセル処理の組み込み
非同期処理では、ユーザーが処理を中断したい場合に備えてキャンセル機能を組み込むことが重要です。
CopyToAsync
はCancellationToken
を受け取れるため、これを利用してキャンセルを実装します。
using System;
using System.IO;
using System.IO.Compression;
using System.Threading;
using System.Threading.Tasks;
class Program
{
static async Task Main()
{
string inputFile = "input.gz";
string outputFile = "output.txt";
var cts = new CancellationTokenSource();
Console.CancelKeyPress += (s, e) =>
{
e.Cancel = true; // プログラム終了を防ぐ
cts.Cancel();
Console.WriteLine("キャンセル要求を受け付けました。");
};
try
{
using (var inputStream = new FileStream(inputFile, FileMode.Open, FileAccess.Read))
using (var gzipStream = new GZipStream(inputStream, CompressionMode.Decompress))
using (var outputStream = new FileStream(outputFile, FileMode.Create, FileAccess.Write))
{
await gzipStream.CopyToAsync(outputStream, 81920, cts.Token);
}
Console.WriteLine("非同期解凍が完了しました。");
}
catch (OperationCanceledException)
{
Console.WriteLine("解凍処理はキャンセルされました。");
}
}
}
キャンセル要求を受け付けました。
解凍処理はキャンセルされました。
この例では、Ctrl+Cなどの割り込み操作でキャンセルを受け付け、CancellationToken
をCopyToAsync
に渡して処理を中断しています。
キャンセル時はOperationCanceledException
がスローされるため、適切にキャッチして後処理を行います。
IProgressでのフィードバック
非同期処理中に進捗をユーザーに伝えるには、IProgress<T>
インターフェースを使う方法が便利です。
これにより、非同期処理のスレッドからUIスレッドへ安全に進捗情報を送れます。
以下は、解凍処理の進捗をパーセンテージで表示する例です。
using System;
using System.IO;
using System.IO.Compression;
using System.Threading;
using System.Threading.Tasks;
class Program
{
static async Task Main()
{
string inputFile = "input.gz";
string outputFile = "output.txt";
var progress = new Progress<double>(percent =>
{
Console.WriteLine($"解凍進捗: {percent:F2}%");
});
await DecompressWithProgressAsync(inputFile, outputFile, progress, CancellationToken.None);
Console.WriteLine("非同期解凍が完了しました。");
}
static async Task DecompressWithProgressAsync(string inputFile, string outputFile, IProgress<double> progress, CancellationToken token)
{
using (var inputStream = new FileStream(inputFile, FileMode.Open, FileAccess.Read))
using (var gzipStream = new GZipStream(inputStream, CompressionMode.Decompress))
using (var outputStream = new FileStream(outputFile, FileMode.Create, FileAccess.Write))
{
long totalLength = inputStream.Length;
long totalRead = 0;
byte[] buffer = new byte[81920];
int bytesRead;
while ((bytesRead = await gzipStream.ReadAsync(buffer, 0, buffer.Length, token)) > 0)
{
await outputStream.WriteAsync(buffer, 0, bytesRead, token);
totalRead += bytesRead;
double percent = (double)totalRead / totalLength * 100;
progress.Report(percent);
}
}
}
}
解凍進捗: 12.34%
解凍進捗: 25.67%
解凍進捗: 38.90%
...
非同期解凍が完了しました。
このコードでは、Progress<double>
を使って進捗を受け取り、Console.WriteLine
で表示しています。
DecompressWithProgressAsync
メソッド内で読み込んだバイト数を累積し、全体の圧縮ファイルサイズに対する割合を計算して報告しています。
注意点として、GZipファイルの圧縮後サイズinputStream.Length
は解凍後のデータサイズとは異なるため、進捗は圧縮データの読み込み進捗を示しています。
解凍後の正確な進捗を知るには、別途メタ情報が必要です。
IProgress<T>
を使うことで、UIアプリケーションでもスレッドセーフに進捗更新が可能になるため、WPFやWinFormsなどの環境でも活用しやすいです。
例外処理とエラー対策
InvalidDataExceptionの理由
InvalidDataException
は、GZipStream
で解凍処理を行う際に最もよく遭遇する例外の一つです。
この例外は、入力されたデータがGZipフォーマットとして正しくない場合や、破損している場合にスローされます。
主な原因は以下の通りです。
- ファイルがGZip形式でない
拡張子が.gz
でも、実際には別の形式や単なるテキストファイルである場合、ヘッダーのマジックナンバーが一致せず例外が発生します。
- ファイルの一部が欠損している
ダウンロードやコピーの途中でファイルが壊れたり、転送エラーがあった場合に発生します。
- 圧縮データの破損
ストレージの障害や不正な編集により、圧縮データの整合性が失われている場合です。
- 複数メンバーGZipファイルの誤処理
GZipファイルは複数の圧縮メンバーを連結できる仕様ですが、GZipStream
は単一メンバーのみ対応しているため、複数メンバーのファイルを解凍しようとすると例外が発生することがあります。
例外を捕捉して適切に処理する例は以下の通りです。
try
{
using (var inputStream = new FileStream("input.gz", FileMode.Open))
using (var gzipStream = new GZipStream(inputStream, CompressionMode.Decompress))
using (var outputStream = new FileStream("output.txt", FileMode.Create))
{
gzipStream.CopyTo(outputStream);
}
}
catch (InvalidDataException ex)
{
Console.WriteLine("GZipファイルの形式が正しくありません。ファイルが破損している可能性があります。");
Console.WriteLine($"詳細: {ex.Message}");
}
このように、InvalidDataException
をキャッチしてユーザーにわかりやすいメッセージを表示し、処理を中断または再試行の判断を促すことが重要です。
IOExceptionと権限エラー
IOException
はファイル操作全般で発生する例外で、GZip解凍時にもよく見られます。
特に以下のようなケースで発生します。
- ファイルが他のプロセスでロックされている
解凍先ファイルが既に開かれている場合、書き込みができず例外が発生します。
- アクセス権限が不足している
読み込み元や書き込み先のディレクトリに対して、実行ユーザーに十分な権限がない場合です。
- パスが存在しない、または無効
指定したファイルパスやディレクトリが存在しない、または不正な文字を含む場合に発生します。
- ファイルシステムの制限
ファイル名の長さ制限や、ファイル数の上限に達している場合も例外が起こることがあります。
例外処理の例は以下の通りです。
try
{
using (var inputStream = new FileStream("input.gz", FileMode.Open))
using (var gzipStream = new GZipStream(inputStream, CompressionMode.Decompress))
using (var outputStream = new FileStream("output.txt", FileMode.Create))
{
gzipStream.CopyTo(outputStream);
}
}
catch (IOException ex)
{
Console.WriteLine("ファイルの読み書き中にエラーが発生しました。");
Console.WriteLine($"詳細: {ex.Message}");
}
権限エラーの場合は、管理者権限での実行やファイルの所有者・アクセス権の確認を行うことが解決策となります。
また、ファイルのロック状態はProcess Explorer
などのツールで調査可能です。
タイムアウト・ディスク容量不足への対応
GZip解凍処理は通常ファイルI/Oに依存するため、ネットワークドライブや外部ストレージを使う場合はタイムアウトが発生することがあります。
標準のGZipStream
やFileStream
には明示的なタイムアウト設定はありませんが、以下の対策が考えられます。
- 非同期処理とキャンセルトークンの活用
長時間かかる処理は非同期で実行し、CancellationToken
を使って任意のタイムアウトを実装します。
- ファイルアクセスのリトライ処理
一時的なネットワーク障害やロック状態の場合、一定回数リトライして成功を待つ方法です。
ディスク容量不足は、解凍先のドライブに十分な空き容量がない場合に発生します。
これを防ぐために、解凍前に空き容量をチェックすることが推奨されます。
DriveInfo drive = new DriveInfo(Path.GetPathRoot(outputFilePath));
long freeSpace = drive.AvailableFreeSpace;
long estimatedSize = GetEstimatedDecompressedSize(inputFilePath); // 推定解凍サイズを取得する独自実装
if (freeSpace < estimatedSize)
{
Console.WriteLine("解凍先のディスク容量が不足しています。空き容量を増やしてください。");
return;
}
GetEstimatedDecompressedSize
はGZipファイルのフッターにある元のサイズ情報を読み取ることで実装可能です。
これにより、解凍処理中のディスク容量不足による失敗を未然に防げます。
また、解凍中にディスク容量が不足した場合はIOException
が発生するため、例外処理で適切に通知し、処理を中断することが重要です。
SharpZipLibでできる拡張
インストール方法と設定
SharpZipLib
はC#で多様な圧縮形式を扱えるオープンソースライブラリで、GZipの解凍においても標準ライブラリより柔軟な機能を提供します。
NuGetパッケージマネージャーを使って簡単に導入できます。
Visual Studioのパッケージマネージャーコンソールで以下のコマンドを実行してください。
Install-Package ICSharpCode.SharpZipLib
または、Visual Studioの「NuGetパッケージの管理」画面からICSharpCode.SharpZipLib
を検索してインストールします。
インストール後は、ICSharpCode.SharpZipLib.GZip
名前空間を使ってGZip関連のクラスを利用可能です。
GZipInputStreamの利用ステップ
SharpZipLib
のGZipInputStream
は、標準のGZipStream
と似ていますが、より詳細な制御や拡張機能を備えています。
基本的な使い方は以下の通りです。
- 解凍対象の圧縮ファイルを
FileStream
で開きます。 GZipInputStream
のコンストラクタにFileStream
を渡してインスタンス化。- 解凍データを読み込み、出力先に書き込みます。
using System;
using System.IO;
using ICSharpCode.SharpZipLib.GZip;
class Program
{
static void Main()
{
string inputFile = "input.gz";
string outputFile = "output.txt";
using (var fileStream = new FileStream(inputFile, FileMode.Open))
using (var gzipStream = new GZipInputStream(fileStream))
using (var outputStream = new FileStream(outputFile, FileMode.Create))
{
byte[] buffer = new byte[4096];
int bytesRead;
while ((bytesRead = gzipStream.Read(buffer, 0, buffer.Length)) > 0)
{
outputStream.Write(buffer, 0, bytesRead);
}
}
Console.WriteLine("SharpZipLibによる解凍が完了しました。");
}
}
CRCチェックの自動化
GZipInputStream
は解凍時にCRC32チェックを自動的に行い、データの整合性を検証します。
標準ライブラリのGZipStream
でもCRCチェックは行われますが、SharpZipLib
はエラー発生時に詳細な例外をスローしやすい特徴があります。
CRCエラーが発生するとSharpZipBaseException
やGZipException
がスローされるため、例外処理で捕捉して適切に対応できます。
try
{
using (var fileStream = new FileStream("input.gz", FileMode.Open))
using (var gzipStream = new GZipInputStream(fileStream))
using (var outputStream = new FileStream("output.txt", FileMode.Create))
{
byte[] buffer = new byte[4096];
int bytesRead;
while ((bytesRead = gzipStream.Read(buffer, 0, buffer.Length)) > 0)
{
outputStream.Write(buffer, 0, bytesRead);
}
}
}
catch (ICSharpCode.SharpZipLib.SharpZipBaseException ex)
{
Console.WriteLine("CRCチェックに失敗しました。ファイルが破損している可能性があります。");
Console.WriteLine($"詳細: {ex.Message}");
}
シーク可能ストリームの取り扱い
GZipInputStream
は基本的にシーク(位置移動)に対応していません。
つまり、Seek
メソッドを呼び出すと例外が発生します。
これはGZip圧縮の特性上、圧縮データを途中から解凍することが難しいためです。
ただし、SharpZipLib
ではGZipInputStream
の代わりにInflaterInputStream
を使うことで、より低レベルのDeflate圧縮データを扱い、シーク可能なストリームを自作することも可能です。
一般的には、GZipファイルの解凍はストリームを先頭から順に読み進める形で処理し、ランダムアクセスは避ける設計が推奨されます。
マルチメンバーGZip対応
GZipファイルは複数の圧縮メンバーを連結できる仕様があります。
標準のGZipStream
は単一メンバーのみ対応しているため、複数メンバーのファイルを解凍すると途中で例外が発生したり、正しく解凍できなかったりします。
SharpZipLib
のGZipInputStream
はマルチメンバーGZipファイルの連結を自動的に処理できます。
複数の圧縮メンバーが連結されている場合でも、連続して読み込みを続けて全データを解凍可能です。
using (var fileStream = new FileStream("multi_member.gz", FileMode.Open))
using (var gzipStream = new GZipInputStream(fileStream))
using (var outputStream = new FileStream("output.txt", FileMode.Create))
{
byte[] buffer = new byte[4096];
int bytesRead;
while ((bytesRead = gzipStream.Read(buffer, 0, buffer.Length)) > 0)
{
outputStream.Write(buffer, 0, bytesRead);
}
}
このコードは、複数メンバーのGZipファイルでも問題なく解凍できます。
標準ライブラリでは対応できないケースでSharpZipLib
を使うメリットの一つです。
バッファサイズの調節方法
GZipInputStream
の読み込み時に使うバッファサイズは、パフォーマンスに大きく影響します。
デフォルトのバッファサイズは4096バイトですが、環境やファイルサイズに応じて調整すると効率的です。
バッファサイズを大きくするとI/O回数が減り高速化が期待できますが、メモリ消費も増えます。
逆に小さくするとメモリは節約できますが処理が遅くなる可能性があります。
int bufferSize = 16384; // 16KBに設定
byte[] buffer = new byte[bufferSize];
int bytesRead;
while ((bytesRead = gzipStream.Read(buffer, 0, buffer.Length)) > 0)
{
outputStream.Write(buffer, 0, bytesRead);
}
実際には、数KBから数十KBの範囲でベンチマークを取り、最適なバッファサイズを決めるのが望ましいです。
特に大容量ファイルの解凍時はパフォーマンス向上に効果的です。
他形式との連携
TAR.GZの分解手順
TAR.GZ
は、まず複数のファイルをまとめたTAR
アーカイブを作成し、そのアーカイブ全体をGZip
で圧縮した形式です。
C#でTAR.GZ
ファイルを扱う場合は、まずGZip
部分を解凍し、その後にTAR
アーカイブを展開する必要があります。
- GZip解凍
GZipStream
やSharpZipLib
のGZipInputStream
を使って、TAR.GZ
ファイルからTAR
ファイルを取り出します。
- TAR展開
SharpZipLib
のTarInputStream
を使って、TAR
ファイル内の複数ファイルを個別に展開します。
以下はSharpZipLib
を使った例です。
using System;
using System.IO;
using ICSharpCode.SharpZipLib.GZip;
using ICSharpCode.SharpZipLib.Tar;
class Program
{
static void Main()
{
string tarGzPath = "archive.tar.gz";
string outputDir = "output";
// GZip解凍してTARファイルをメモリに展開
using (var fileStream = File.OpenRead(tarGzPath))
using (var gzipStream = new GZipInputStream(fileStream))
using (var tarStream = new TarInputStream(gzipStream))
{
TarEntry entry;
while ((entry = tarStream.GetNextEntry()) != null)
{
string outPath = Path.Combine(outputDir, entry.Name);
if (entry.IsDirectory)
{
Directory.CreateDirectory(outPath);
}
else
{
Directory.CreateDirectory(Path.GetDirectoryName(outPath));
using (var outFile = File.Create(outPath))
{
tarStream.CopyEntryContents(outFile);
}
}
}
}
Console.WriteLine("TAR.GZの展開が完了しました。");
}
}
このコードは、archive.tar.gz
を解凍し、output
フォルダに中身を展開します。
GZipInputStream
で圧縮を解除し、TarInputStream
でアーカイブ内のファイルを順に処理しています。
ZIPとの機能比較
GZip
とZIP
はどちらも圧縮フォーマットですが、用途や機能に違いがあります。
項目 | GZip | ZIP |
---|---|---|
圧縮対象 | 単一ファイルの圧縮に最適 | 複数ファイルやディレクトリの圧縮に対応 |
ファイル構造 | 圧縮データ+ヘッダー+フッター | アーカイブ形式で複数ファイルを格納可能 |
圧縮アルゴリズム | Deflate | Deflate(他のアルゴリズムも対応可能) |
メタデータ | ファイル名、タイムスタンプなど簡易 | ファイル名、属性、コメントなど豊富 |
ランダムアクセス | 基本的に不可 | 可能(個別ファイルの抽出が容易) |
利用シーン | 単一ファイルの圧縮やストリーム圧縮 | 複数ファイルの配布やバックアップ |
C#ではSystem.IO.Compression
名前空間のZipArchive
クラスを使ってZIPファイルの読み書きが可能です。
複数ファイルをまとめて圧縮・解凍したい場合はZIPのほうが適しています。
変換ユーティリティの活用
GZipファイルを他の形式に変換したり、逆に他形式からGZipに変換したりするユーティリティは、開発や運用で役立ちます。
C#での変換は標準ライブラリやSharpZipLib
を組み合わせて実装可能です。
例えば、TAR.GZ
をZIPに変換する場合は以下の流れになります。
GZipInputStream
でTAR
を解凍。TarInputStream
でファイルを展開。ZipArchive
を使って展開したファイルをZIPに圧縮。
逆にZIPをTAR.GZ
に変換する場合は、ZIPを展開してからTarOutputStream
でTARを作成し、GZipOutputStream
で圧縮します。
また、コマンドラインツールや外部ライブラリを呼び出す方法もありますが、C#内で完結させる場合はSharpZipLib
と標準ライブラリの組み合わせが便利です。
こうした変換ユーティリティを作ることで、異なる圧縮形式間の互換性を確保し、システム間のデータ連携をスムーズにできます。
セキュリティ面の留意点
圧縮爆弾の検知方法
圧縮爆弾とは、非常に高い圧縮率を持つファイルで、解凍すると膨大なサイズに膨れ上がり、システムのリソースを枯渇させる攻撃手法です。
GZipファイルの解凍時にも注意が必要です。
圧縮爆弾を検知するためのポイントは以下の通りです。
- 解凍後のサイズ制限
GZipファイルのフッターには元のデータサイズが記録されています。
解凍前にこのサイズを取得し、許容範囲を超えていないかチェックします。
例えば、数百MB以上のファイルを想定していない場合は警告を出すなどの対策が有効です。
- 圧縮率の監視
圧縮率が異常に高い(例:圧縮前サイズに対して解凍後サイズが数百倍以上)場合は、圧縮爆弾の可能性があります。
圧縮率を計算し、閾値を超えた場合は処理を中断します。
- タイムアウト設定
解凍処理に時間制限を設け、長時間かかる場合は強制的に中断することで、リソースの過剰消費を防ぎます。
- メモリ使用量の監視
解凍処理中のメモリ使用量を監視し、異常に増加した場合は例外を発生させる仕組みを導入します。
これらの対策を組み合わせることで、圧縮爆弾によるサービス妨害を防止できます。
入力検証とサンドボックス
外部から受け取ったGZipファイルを解凍する際は、入力検証と安全な実行環境の確保が重要です。
- 入力検証
ファイルの拡張子だけでなく、マジックナンバー(GZipの場合は0x1F8B
)をチェックして正しい形式か確認します。
また、ファイルサイズや圧縮率、ファイル名の妥当性も検証します。
- パスの検証
解凍先のパスに不正な文字列やディレクトリトラバーサル攻撃(例:../
)が含まれていないかをチェックし、意図しない場所への書き込みを防ぎます。
- サンドボックス環境での実行
解凍処理を権限の制限された環境(サンドボックス)で実行し、万が一悪意のあるファイルであってもシステム全体への影響を最小限に抑えます。
例えば、コンテナや仮想マシン、専用のユーザー権限で処理を行う方法があります。
- リソース制限
CPU時間やメモリ使用量、ディスクI/Oを制限し、過剰なリソース消費を防ぎます。
これらの対策により、悪意のあるファイルによる攻撃リスクを低減できます。
署名付きアーカイブとの統合
GZipファイル自体には署名機能がありませんが、セキュリティを強化するために署名付きアーカイブと組み合わせる方法があります。
- 署名付きZIPやTARアーカイブ
GZip圧縮前のアーカイブ(ZIPやTAR)にデジタル署名を付与し、改ざん検知や送信元の認証を行います。
解凍前に署名検証を行うことで、信頼できるファイルのみ処理できます。
- 外部署名ファイルの利用
GZipファイルとは別に署名ファイル(例:.sig
や.asc
)を配布し、公開鍵暗号方式で検証します。
これにより、ファイルの整合性と真正性を保証します。
- コード署名やハッシュ検証
アプリケーション側でGZipファイルのハッシュ値(SHA-256など)を事前に登録し、ダウンロード後に検証する方法もあります。
C#では、System.Security.Cryptography
名前空間のクラスを使ってハッシュ計算や署名検証が可能です。
署名付きアーカイブとの連携により、セキュリティレベルを大幅に向上させられます。
テストとデバッグのポイント
サンプルデータの自動生成
GZip解凍機能のテストを行う際、実際の圧縮ファイルを用意するのは手間がかかるため、テスト用のサンプルデータを自動生成する方法が便利です。
C#の標準ライブラリを使って、任意の文字列やバイナリデータをGZip形式で圧縮し、テスト用ファイルやメモリ上のデータを作成できます。
以下は文字列をGZip圧縮してバイト配列を生成する例です。
using System;
using System.IO;
using System.IO.Compression;
using System.Text;
class Program
{
static byte[] GenerateGZipSampleData(string content)
{
byte[] inputBytes = Encoding.UTF8.GetBytes(content);
using (var outputStream = new MemoryStream())
{
using (var gzipStream = new GZipStream(outputStream, CompressionMode.Compress))
{
gzipStream.Write(inputBytes, 0, inputBytes.Length);
}
return outputStream.ToArray();
}
}
static void Main()
{
string sampleText = "これはテスト用のサンプルデータです。";
byte[] compressedData = GenerateGZipSampleData(sampleText);
Console.WriteLine($"圧縮データのサイズ: {compressedData.Length} バイト");
}
}
圧縮データのサイズ: 57 バイト
この方法で、テストケースごとに異なる内容の圧縮データを簡単に生成でき、ファイルI/Oを伴わないメモリ上のテストも可能になります。
単体テストでのストリームモック
GZip解凍処理の単体テストでは、実際のファイルを使わずにストリームをモック(模擬)することで、テストの高速化と安定化を図れます。
MemoryStream
を使って圧縮済みデータを用意し、解凍処理の入力として渡すのが一般的です。
以下は、NUnitやxUnitなどのテストフレームワークで使えるサンプルコード例です。
using System;
using System.IO;
using System.IO.Compression;
using System.Text;
using NUnit.Framework;
[TestFixture]
public class GZipDecompressionTests
{
private byte[] CreateCompressedData(string text)
{
byte[] inputBytes = Encoding.UTF8.GetBytes(text);
using (var ms = new MemoryStream())
{
using (var gzip = new GZipStream(ms, CompressionMode.Compress, true))
{
gzip.Write(inputBytes, 0, inputBytes.Length);
}
return ms.ToArray();
}
}
[Test]
public void Decompress_ShouldReturnOriginalText()
{
string original = "テストデータ";
byte[] compressed = CreateCompressedData(original);
using (var compressedStream = new MemoryStream(compressed))
using (var gzipStream = new GZipStream(compressedStream, CompressionMode.Decompress))
using (var resultStream = new MemoryStream())
{
gzipStream.CopyTo(resultStream);
string decompressed = Encoding.UTF8.GetString(resultStream.ToArray());
Assert.AreEqual(original, decompressed);
}
}
}
このように、ファイルを使わずにメモリ上で圧縮・解凍を完結させることで、テストの実行速度が向上し、外部環境に依存しない安定したテストが可能です。
BenchmarkDotNetで速度計測
パフォーマンスの最適化を行う際は、BenchmarkDotNet
という強力なベンチマークライブラリを使うと便利です。
BenchmarkDotNet
は正確な計測と詳細なレポートを提供し、C#コードの速度比較や最適化効果の検証に役立ちます。
以下は、GZip解凍処理の速度を計測する簡単な例です。
using System;
using System.IO;
using System.IO.Compression;
using System.Text;
using BenchmarkDotNet.Attributes;
using BenchmarkDotNet.Running;
public class GZipDecompressionBenchmark
{
private byte[] compressedData;
[GlobalSetup]
public void Setup()
{
string sampleText = new string('A', 10_000_000); // 1,000万文字のテキスト
byte[] inputBytes = Encoding.UTF8.GetBytes(sampleText);
using (var ms = new MemoryStream())
{
using (var gzip = new GZipStream(ms, CompressionMode.Compress))
{
gzip.Write(inputBytes, 0, inputBytes.Length);
}
compressedData = ms.ToArray();
}
}
[Benchmark]
public void Decompress()
{
using (var compressedStream = new MemoryStream(compressedData))
using (var gzipStream = new GZipStream(compressedStream, CompressionMode.Decompress))
using (var outputStream = new MemoryStream())
{
gzipStream.CopyTo(outputStream);
}
}
}
class Program
{
static void Main()
{
var summary = BenchmarkRunner.Run<GZipDecompressionBenchmark>();
}
}
このコードは、1,000万文字のテキストを圧縮したデータを用意し、Decompress
メソッドで解凍速度を計測します。
BenchmarkDotNet
は複数回の実行やウォームアップを自動で行い、信頼性の高い結果を出力します。
実行すると、コンソールに詳細なベンチマーク結果が表示され、処理時間やメモリ使用量などを確認できます。
これにより、バッファサイズの調整や非同期処理の効果を定量的に評価できます。
トラブルシューティング
Magic numberエラーの原因
GZipファイルの解凍時に「Magic numberエラー」が発生することがあります。
これは、ファイルの先頭にあるマジックナンバー(識別子)が期待される値と異なる場合に起こるエラーです。
GZipファイルのマジックナンバーは2バイトで0x1F8B
に固定されています。
主な原因は以下の通りです。
- ファイルがGZip形式でない
拡張子が.gz
でも、実際には別の形式や単なるテキストファイルである場合、マジックナンバーが一致せずエラーになります。
- ファイルの破損や不完全なダウンロード
ファイルの先頭部分が欠損していると、マジックナンバーが読み取れずエラーが発生します。
- 誤ったストリームの渡し方
解凍処理に渡すストリームがファイルの先頭位置にセットされていない場合、マジックナンバーが正しく読めずエラーになることがあります。
対策としては、ファイルの先頭から読み込むことを確認し、ファイル形式を事前にチェックすることが重要です。
例えば、以下のようにマジックナンバーを検証できます。
using (var fs = new FileStream("file.gz", FileMode.Open))
{
byte[] magic = new byte[2];
fs.Read(magic, 0, 2);
if (magic[0] != 0x1F || magic[1] != 0x8B)
{
throw new InvalidDataException("GZipファイルのマジックナンバーが不正です。");
}
fs.Seek(0, SeekOrigin.Begin);
// 解凍処理へ
}
Unexpected end of streamの対策
「Unexpected end of stream(ストリームの予期しない終了)」エラーは、解凍処理中にデータが途中で途切れている場合に発生します。
これは主に以下の原因によります。
- ファイルの破損や不完全なダウンロード
圧縮ファイルが完全に取得できていない場合、解凍時に必要なデータが不足しエラーになります。
- ストリームの途中で閉じられた
ネットワークストリームやメモリストリームが途中で閉じられた場合も同様のエラーが起こります。
- 複数メンバーGZipファイルの誤処理
複数の圧縮メンバーが連結されたGZipファイルを単一メンバーとして処理しようとすると、途中でストリームが終わったと誤認されることがあります。
対策としては以下を検討してください。
- ファイルの完全性をチェックし、再ダウンロードや再生成を行います
- ネットワークストリームの場合は、通信の安定性を確保し、途中切断を防ぐ
- 複数メンバーGZipファイルの場合は、
SharpZipLib
のようなマルチメンバー対応ライブラリを使います - 解凍処理前にファイルサイズやCRCチェックを行い、破損を早期に検知します
ライブラリ間の互換性問題
C#でGZip解凍を行う際、標準ライブラリのGZipStream
とサードパーティのSharpZipLib
など複数のライブラリを使い分けることがありますが、互換性の問題に注意が必要です。
主な問題点は以下の通りです。
- マルチメンバーGZipファイルの扱い
標準のGZipStream
は単一メンバーのみ対応しているため、複数メンバーのGZipファイルを解凍するとエラーになることがあります。
一方、SharpZipLib
はマルチメンバーに対応しています。
- CRCチェックの厳密さの違い
ライブラリによってCRCエラーの検出や例外のスロータイミングが異なり、同じファイルで動作が変わることがあります。
- バッファサイズやストリームの扱いの差異
パフォーマンスやメモリ使用量に影響し、同じ処理でも速度や安定性が異なる場合があります。
- 圧縮レベルやオプションのサポート差
圧縮時の設定が異なると、解凍時に互換性問題が発生することがあります。
対策としては、同一プロジェクト内でライブラリを混在させず、一貫したライブラリを使うことが望ましいです。
また、特定のファイル形式や要件に応じてライブラリを選定し、事前に十分なテストを行うことが重要です。
互換性問題が疑われる場合は、ファイルの仕様や圧縮方法を確認し、必要に応じて変換や再圧縮を検討してください。
チェックリスト
実装前の確認項目
- 対象ファイル形式の確認
解凍対象が純粋なGZipファイルか、複数メンバーを含むか、またはTAR.GZのような複合形式かを明確にします。
これにより、使用するライブラリや処理方法を選定できます。
- 圧縮ファイルのサイズとメモリ要件
解凍対象のファイルサイズを把握し、メモリやディスク容量が十分か確認します。
大容量ファイルの場合は分割読み込みや非同期処理の検討が必要です。
- エラーハンドリング設計
InvalidDataException
やIOException
など、想定される例外を洗い出し、適切な例外処理やユーザー通知の設計を行います。
- セキュリティ対策の検討
圧縮爆弾対策や入力検証、サンドボックス実行の必要性を評価し、実装計画に組み込みます。
- パフォーマンス要件の確認
解凍速度やリソース消費の目標を設定し、バッファサイズや非同期処理の採用を検討します。
- テスト計画の策定
サンプルデータの準備、単体テストや統合テストの範囲を決め、テスト自動化の方針を決定します。
デプロイ時の注意事項
- 依存ライブラリの管理
SharpZipLib
など外部ライブラリを使用する場合は、バージョン管理とパッケージの正確な配置を確認します。
NuGetパッケージの復元設定も忘れずに。
- 実行環境の権限設定
解凍先ディレクトリへの書き込み権限やファイルアクセス権限を適切に設定し、権限不足によるエラーを防ぎます。
- ディスク容量の確保
解凍処理に必要なディスク容量が十分にあるか、事前に確認します。
特に共有サーバーやクラウド環境では注意が必要です。
- ログ出力の設定
解凍処理の成功・失敗や例外情報をログに記録する設定を行い、運用時のトラブルシューティングに備えます。
- セキュリティポリシーの遵守
ファイルの検証やサンドボックス実行など、セキュリティ要件を満たしているか最終確認します。
運用フェーズの点検項目
- 定期的なログ監視
解凍処理のログを定期的にチェックし、異常やエラーの兆候を早期に発見します。
- ディスク容量の監視
解凍先のディスク容量を継続的に監視し、容量不足による処理失敗を防ぎます。
- パフォーマンスのモニタリング
解凍処理の処理時間やリソース使用状況を監視し、必要に応じてチューニングを行います。
- セキュリティアップデートの適用
使用しているライブラリやフレームワークのセキュリティパッチを適時適用し、脆弱性を防ぎます。
- ユーザーからのフィードバック収集
解凍処理に関するユーザーの問題報告や要望を収集し、改善に活かします。
- バックアップとリカバリ計画の確認
解凍対象ファイルや出力先のバックアップ体制を整備し、障害発生時の迅速な復旧を可能にします。
まとめ
この記事では、C#でのGZip解凍の基本から標準ライブラリやSharpZipLibの活用方法、非同期処理や例外対策、他形式との連携、セキュリティ面の注意点まで幅広く解説しました。
効率的な実装やトラブルシューティングのポイント、テストや運用時のチェックリストも紹介しているため、実務で安全かつ高速にGZip解凍を行うための知識が身につきます。