ファイル

[Python] os.walkの使い方 – ディレクトリを再帰的に探索する

os.walkは、Pythonの標準ライブラリ os に含まれる関数で、指定したディレクトリを再帰的に探索し、ディレクトリ内のフォルダ名やファイル名を取得する際に使用されます。

この関数は、指定したディレクトリ以下のすべての階層を順にたどり、各階層ごとに「ディレクトリパス」「サブディレクトリのリスト」「ファイルのリスト」をタプルとして返します。

これにより、ディレクトリ構造を効率的に処理できます。

目次から探す

os.walkとは

os.walkは、Pythonの標準ライブラリであるosモジュールに含まれる関数で、指定したディレクトリ以下の全てのファイルとサブディレクトリを再帰的に探索するための便利なツールです。

この関数を使用することで、ディレクトリ構造を簡単に取得し、ファイルの操作や情報収集を行うことができます。

特徴

再帰的探索: 指定したディレクトリ内の全てのサブディレクトリを自動的に探索します。
タプルの返却: 各ディレクトリに対して、ディレクトリパス、サブディレクトリのリスト、ファイルのリストを含むタプルを返します。
使いやすさ: シンプルな構文で、複雑なディレクトリ操作を簡単に実行できます。

以下は、os.walkを使用して指定したディレクトリ内の全てのファイルとサブディレクトリを表示するサンプルコードです。

import os
# 探索するディレクトリのパス
directory_path = '探索したいディレクトリのパス'
# os.walkを使用してディレクトリを探索
for dirpath, dirnames, filenames in os.walk(directory_path):
    print(f'現在のディレクトリ: {dirpath}')
    print(f'サブディレクトリ: {dirnames}')
    print(f'ファイル: {filenames}')
    print('---')

このコードを実行すると、指定したディレクトリ内の全てのサブディレクトリとファイルが表示されます。

出力結果は以下のようになります。

現在のディレクトリ: 探索したいディレクトリのパス
サブディレクトリ: ['subdir1', 'subdir2']
ファイル: ['file1.txt', 'file2.txt']
---
現在のディレクトリ: 探索したいディレクトリのパス/subdir1
サブディレクトリ: []
ファイル: ['file3.txt']
---
現在のディレクトリ: 探索したいディレクトリのパス/subdir2
サブディレクトリ: []
ファイル: ['file4.txt']
---

このように、os.walkを使うことで、ディレクトリ内の構造を簡単に把握することができます。

os.walkの基本的な使い方

os.walkを使用することで、ディレクトリ内のファイルやサブディレクトリを簡単に探索できます。

ここでは、os.walkの基本的な使い方を具体的な例を交えて解説します。

基本構文

os.walkの基本的な構文は以下の通りです。

os.walk(top, topdown=True, onerror=None, followlinks=False)

top: 探索を開始するディレクトリのパス。
topdown: Trueの場合、ディレクトリを上から下へ探索します。

Falseの場合、下から上へ探索します。

onerror: エラーが発生した場合に呼び出される関数。
followlinks: シンボリックリンクをたどるかどうかを指定します。

基本的な使用例

以下のコードは、指定したディレクトリ内の全てのファイルとサブディレクトリをリストアップする基本的な例です。

import os
# 探索するディレクトリのパス
directory_path = '探索したいディレクトリのパス'
# os.walkを使用してディレクトリを探索
for dirpath, dirnames, filenames in os.walk(directory_path):
    print(f'現在のディレクトリ: {dirpath}')
    print(f'サブディレクトリ: {dirnames}')
    print(f'ファイル: {filenames}')
    print('---')

出力結果の解説

現在のディレクトリ: 探索したいディレクトリのパス
サブディレクトリ: ['subdir1', 'subdir2']
ファイル: ['file1.txt', 'file2.txt']
---
現在のディレクトリ: 探索したいディレクトリのパス/subdir1
サブディレクトリ: []
ファイル: ['file3.txt']
---
現在のディレクトリ: 探索したいディレクトリのパス/subdir2
サブディレクトリ: []
ファイル: ['file4.txt']
---

現在のディレクトリ: 探索中のディレクトリのパスが表示されます。
サブディレクトリ: 現在のディレクトリ内に存在するサブディレクトリのリストが表示されます。
ファイル: 現在のディレクトリ内に存在するファイルのリストが表示されます。

os.walkを使うことで、ディレクトリ内のファイルやサブディレクトリを簡単に探索し、情報を取得することができます。

基本的な使い方を理解することで、より複雑なディレクトリ操作にも応用できるようになります。

os.walkを使ったディレクトリ探索の応用

os.walkは、ディレクトリ内のファイルやサブディレクトリを探索するだけでなく、さまざまな応用が可能です。

ここでは、os.walkを使った具体的な応用例をいくつか紹介します。

特定の拡張子を持つファイルの検索

特定の拡張子(例えば、.txtや.jpg)を持つファイルを探すことができます。

以下のコードは、指定したディレクトリ内の全ての.txtファイルをリストアップします。

import os
# 探索するディレクトリのパス
directory_path = '探索したいディレクトリのパス'
target_extension = '.txt'
# os.walkを使用して特定の拡張子を持つファイルを探索
for dirpath, dirnames, filenames in os.walk(directory_path):
    for filename in filenames:
        if filename.endswith(target_extension):
            print(f'見つかったファイル: {os.path.join(dirpath, filename)}')

ディレクトリのサイズを計算

ディレクトリ内の全てのファイルのサイズを合計して、ディレクトリのサイズを計算することもできます。

以下のコードは、指定したディレクトリのサイズをバイト単位で表示します。

import os
# 探索するディレクトリのパス
directory_path = '探索したいディレクトリのパス'
total_size = 0
# os.walkを使用してディレクトリのサイズを計算
for dirpath, dirnames, filenames in os.walk(directory_path):
    for filename in filenames:
        file_path = os.path.join(dirpath, filename)
        total_size += os.path.getsize(file_path)
print(f'ディレクトリの合計サイズ: {total_size} バイト')

空のディレクトリの削除

空のディレクトリを見つけて削除することも可能です。

以下のコードは、指定したディレクトリ内の空のサブディレクトリを削除します。

import os
# 探索するディレクトリのパス
directory_path = '探索したいディレクトリのパス'
# os.walkを使用して空のディレクトリを削除
for dirpath, dirnames, filenames in os.walk(directory_path, topdown=False):
    for dirname in dirnames:
        dir_to_check = os.path.join(dirpath, dirname)
        if not os.listdir(dir_to_check):  # ディレクトリが空か確認
            os.rmdir(dir_to_check)  # 空のディレクトリを削除
            print(f'削除されたディレクトリ: {dir_to_check}')

ファイルのバックアップ

特定のディレクトリ内のファイルを別の場所にバックアップすることもできます。

以下のコードは、指定したディレクトリ内の全てのファイルをバックアップ先にコピーします。

import os
import shutil
# 探索するディレクトリのパスとバックアップ先のパス
source_directory = '探索したいディレクトリのパス'
backup_directory = 'バックアップ先のディレクトリのパス'
# os.walkを使用してファイルをバックアップ
for dirpath, dirnames, filenames in os.walk(source_directory):
    for filename in filenames:
        source_file = os.path.join(dirpath, filename)
        backup_file = os.path.join(backup_directory, os.path.relpath(source_file, source_directory))
        os.makedirs(os.path.dirname(backup_file), exist_ok=True)  # バックアップ先のディレクトリを作成
        shutil.copy2(source_file, backup_file)  # ファイルをコピー
        print(f'バックアップされたファイル: {backup_file}')

os.walkを使用することで、ディレクトリ探索の基本的な機能を超えたさまざまな応用が可能です。

特定のファイルの検索、ディレクトリのサイズ計算、空のディレクトリの削除、ファイルのバックアップなど、実際のプロジェクトで役立つ機能を実装することができます。

これにより、ファイル管理やデータ処理の効率を大幅に向上させることができます。

os.walkの注意点と制限

os.walkは非常に便利な関数ですが、使用する際にはいくつかの注意点や制限があります。

ここでは、os.walkを使用する際に考慮すべきポイントをいくつか紹介します。

シンボリックリンクの取り扱い

os.walkは、デフォルトではシンボリックリンクをたどりませんが、followlinks=Trueを指定することでたどることができます。

ただし、シンボリックリンクが循環参照を引き起こす可能性があるため、注意が必要です。

循環参照が発生すると、無限ループに陥る可能性があります。

大規模なディレクトリの処理

非常に大きなディレクトリ(数万以上のファイルやサブディレクトリを含む場合)を探索する際、メモリや処理時間が大きくなることがあります。

特に、全てのファイルをメモリに保持する場合、パフォーマンスが低下する可能性があります。

必要に応じて、処理を分割することを検討してください。

アクセス権限の問題

os.walkを使用してディレクトリを探索する際、アクセス権限がないファイルやディレクトリに遭遇することがあります。

この場合、PermissionErrorが発生します。

エラーハンドリングを行うことで、プログラムがクラッシュするのを防ぐことができます。

以下は、エラーハンドリングの例です。

import os
# 探索するディレクトリのパス
directory_path = '探索したいディレクトリのパス'
# os.walkを使用してディレクトリを探索
for dirpath, dirnames, filenames in os.walk(directory_path):
    try:
        print(f'現在のディレクトリ: {dirpath}')
        print(f'サブディレクトリ: {dirnames}')
        print(f'ファイル: {filenames}')
        print('---')
    except PermissionError:
        print(f'アクセス権限がないため、{dirpath}をスキップします。')

ファイルシステムの違い

異なるオペレーティングシステムやファイルシステムによって、ファイルやディレクトリの取り扱いが異なる場合があります。

特に、ファイル名の大文字小文字の扱いや、特定のファイル属性が異なることがあります。

これにより、期待通りの結果が得られないことがあります。

パフォーマンスの最適化

os.walkは便利ですが、特定の条件でフィルタリングを行う場合、全てのファイルを探索する必要があるため、パフォーマンスが低下することがあります。

必要なファイルやディレクトリを事前に絞り込むことで、処理速度を向上させることができます。

os.walkは強力なツールですが、使用する際には注意点や制限を理解しておくことが重要です。

シンボリックリンクの取り扱いや大規模なディレクトリの処理、アクセス権限の問題などに留意し、適切なエラーハンドリングやパフォーマンスの最適化を行うことで、より安全かつ効率的にディレクトリ探索を行うことができます。

os.walkと他のディレクトリ探索手法の比較

Pythonには、ディレクトリを探索するためのいくつかの手法があります。

ここでは、os.walkと他の代表的なディレクトリ探索手法を比較し、それぞれの特徴や利点、欠点を解説します。

os.walk

特徴: 再帰的にディレクトリを探索し、各ディレクトリのパス、サブディレクトリのリスト、ファイルのリストをタプルで返します。
利点:
シンプルで使いやすい。
ディレクトリ構造を簡単に取得できる。
欠点:
大規模なディレクトリではパフォーマンスが低下する可能性がある。
シンボリックリンクの循環参照に注意が必要。

os.listdir

特徴: 指定したディレクトリ内のファイルとサブディレクトリのリストを取得します。

再帰的な探索は行いません。

利点:
シンプルで高速。

特定のディレクトリ内のファイルを取得するのに適している。

欠点:
再帰的な探索ができないため、サブディレクトリ内のファイルを取得するには別途処理が必要。
使用例:

import os
# 探索するディレクトリのパス
directory_path = '探索したいディレクトリのパス'
# os.listdirを使用してファイルとサブディレクトリを取得
items = os.listdir(directory_path)
print(f'ディレクトリ内のアイテム: {items}')

pathlibモジュール

特徴: Python 3.4以降で導入されたpathlibモジュールは、オブジェクト指向のインターフェースを提供し、ファイルシステムのパスを扱います。
利点:
より直感的で可読性の高いコードが書ける。
パス操作が簡単に行える。
欠点:
os.walkに比べて、再帰的な探索のための構文がやや複雑になることがある。
使用例:

from pathlib import Path
# 探索するディレクトリのパス
directory_path = Path('探索したいディレクトリのパス')
# pathlibを使用して再帰的にファイルを取得
for file in directory_path.rglob('*'):
    print(file)

fnmatchモジュール

特徴: ファイル名のパターンマッチングを行うためのモジュールで、特定のパターンに一致するファイルを検索するのに役立ちます。
利点:
特定のパターンに基づいてファイルをフィルタリングできる。
欠点:
os.walkやos.listdirと組み合わせて使用する必要があるため、単独ではディレクトリ探索ができない。
使用例:

import os
import fnmatch
# 探索するディレクトリのパス
directory_path = '探索したいディレクトリのパス'
pattern = '*.txt'
# os.walkとfnmatchを使用して特定のパターンに一致するファイルを取得
for dirpath, dirnames, filenames in os.walk(directory_path):
    for filename in fnmatch.filter(filenames, pattern):
        print(f'見つかったファイル: {os.path.join(dirpath, filename)}')

os.walkは、再帰的なディレクトリ探索に非常に便利なツールですが、他にもos.listdirやpathlib、fnmatchなどの手法があります。

それぞれの手法には利点と欠点があり、用途に応じて使い分けることが重要です。

特定のニーズに最適な方法を選択することで、効率的なファイル管理やデータ処理が可能になります。

実践例：os.walkを使ったユースケース

os.walkは、さまざまなユースケースで活用できる強力なツールです。

ここでは、実際のシナリオに基づいたいくつかのユースケースを紹介します。

これにより、os.walkの実用性を理解し、実際のプロジェクトでの活用方法を学ぶことができます。

画像ファイルの整理

特定のディレクトリ内にある画像ファイルを、拡張子ごとにサブディレクトリに整理するスクリプトを作成します。

以下のコードは、.jpg、.png、.gifの画像ファイルをそれぞれのサブディレクトリに移動します。

import os
import shutil
# 探索するディレクトリのパス
directory_path = '探索したいディレクトリのパス'
image_extensions = ['.jpg', '.png', '.gif']
# os.walkを使用して画像ファイルを整理
for dirpath, dirnames, filenames in os.walk(directory_path):
    for filename in filenames:
        if filename.endswith(tuple(image_extensions)):
            # 拡張子に応じたサブディレクトリを作成
            ext = filename.split('.')[-1]
            target_dir = os.path.join(directory_path, ext)
            os.makedirs(target_dir, exist_ok=True)
            
            # ファイルを移動
            shutil.move(os.path.join(dirpath, filename), os.path.join(target_dir, filename))
            print(f'移動されたファイル: {filename} -> {target_dir}')

ログファイルの集計

指定したディレクトリ内の全てのログファイルを集計し、各ファイルの行数をカウントするスクリプトを作成します。

以下のコードは、.logファイルの行数を集計し、合計を表示します。

import os
# 探索するディレクトリのパス
directory_path = '探索したいディレクトリのパス'
log_extension = '.log'
total_lines = 0
# os.walkを使用してログファイルの行数を集計
for dirpath, dirnames, filenames in os.walk(directory_path):
    for filename in filenames:
        if filename.endswith(log_extension):
            with open(os.path.join(dirpath, filename), 'r', encoding='utf-8') as file:
                lines = file.readlines()
                total_lines += len(lines)
                print(f'{filename} の行数: {len(lines)}')
print(f'合計行数: {total_lines}')

特定のファイルのバックアップ

特定の拡張子を持つファイルをバックアップするスクリプトを作成します。

以下のコードは、.txtファイルを指定したバックアップ先にコピーします。

import os
import shutil
# 探索するディレクトリのパスとバックアップ先のパス
source_directory = '探索したいディレクトリのパス'
backup_directory = 'バックアップ先のディレクトリのパス'
target_extension = '.txt'
# os.walkを使用してファイルをバックアップ
for dirpath, dirnames, filenames in os.walk(source_directory):
    for filename in filenames:
        if filename.endswith(target_extension):
            source_file = os.path.join(dirpath, filename)
            backup_file = os.path.join(backup_directory, os.path.relpath(source_file, source_directory))
            os.makedirs(os.path.dirname(backup_file), exist_ok=True)  # バックアップ先のディレクトリを作成
            shutil.copy2(source_file, backup_file)  # ファイルをコピー
            print(f'バックアップされたファイル: {backup_file}')

空のディレクトリの削除

指定したディレクトリ内の空のサブディレクトリを削除するスクリプトを作成します。

以下のコードは、空のディレクトリを見つけて削除します。

import os
# 探索するディレクトリのパス
directory_path = '探索したいディレクトリのパス'
# os.walkを使用して空のディレクトリを削除
for dirpath, dirnames, filenames in os.walk(directory_path, topdown=False):
    for dirname in dirnames:
        dir_to_check = os.path.join(dirpath, dirname)
        if not os.listdir(dir_to_check):  # ディレクトリが空か確認
            os.rmdir(dir_to_check)  # 空のディレクトリを削除
            print(f'削除されたディレクトリ: {dir_to_check}')

os.walkを使用することで、さまざまなユースケースに対応したスクリプトを簡単に作成できます。

画像ファイルの整理、ログファイルの集計、特定のファイルのバックアップ、空のディレクトリの削除など、実際のプロジェクトで役立つ機能を実装することができます。

これにより、ファイル管理やデータ処理の効率を大幅に向上させることができます。