[Python] サブフォルダを含めてファイルを検索する方法

Pythonでサブフォルダを含めてファイルを検索するには、主にosモジュールやpathlibモジュールを使用します。

os.walk()はディレクトリツリーを再帰的に走査し、各ディレクトリ内のファイルやサブディレクトリを取得できます。

また、pathlib.Path.rglob()を使うと、指定したパターンに一致するファイルをサブフォルダも含めて検索できます。

これらの方法を使うことで、効率的にファイルを検索できます。

osモジュールを使ったファイル検索

Pythonのosモジュールは、オペレーティングシステムとのインターフェースを提供し、ファイルやディレクトリの操作を簡単に行うことができます。

特に、os.walk()関数を使用することで、サブフォルダを含むファイル検索が可能です。

以下では、os.walk()の使い方やその特性について詳しく解説します。

os.walk()の基本的な使い方

os.walk()は、指定したディレクトリ以下の全てのディレクトリとファイルを再帰的に走査するための関数です。

基本的な使い方は以下の通りです。

import os
# 指定したディレクトリを走査
for dirpath, dirnames, filenames in os.walk('検索したいディレクトリのパス'):
    print(f'現在のディレクトリ: {dirpath}')
    print(f'サブディレクトリ: {dirnames}')
    print(f'ファイル: {filenames}')

このコードを実行すると、指定したディレクトリ内の全てのサブディレクトリとファイルの情報が表示されます。

os.walk()でサブフォルダを含めたファイル検索

os.walk()を使用することで、サブフォルダを含めたファイル検索が簡単に行えます。

以下のコードは、特定のディレクトリ内の全てのファイルをリストアップする例です。

import os
# 指定したディレクトリを走査
for dirpath, dirnames, filenames in os.walk('検索したいディレクトリのパス'):
    for filename in filenames:
        print(os.path.join(dirpath, filename))  # フルパスを表示

このコードを実行すると、指定したディレクトリとそのサブフォルダ内の全てのファイルのフルパスが表示されます。

os.walk()の出力形式とその処理方法

os.walk()は、3つの値を返します。

これらはそれぞれ、現在のディレクトリのパス、サブディレクトリのリスト、ファイルのリストです。

これを利用して、特定の条件に基づいてファイルを処理することができます。

例えば、特定のファイル名を持つファイルを探す場合、以下のように処理できます。

import os
# 指定したディレクトリを走査
for dirpath, dirnames, filenames in os.walk('検索したいディレクトリのパス'):
    for filename in filenames:
        if filename == '探したいファイル名.txt':
            print(f'見つかりました: {os.path.join(dirpath, filename)}')

特定の拡張子を持つファイルの検索方法

特定の拡張子を持つファイルを検索するには、os.walk()と条件文を組み合わせて使用します。

以下は、.txtファイルを検索する例です。

import os
# 指定したディレクトリを走査
for dirpath, dirnames, filenames in os.walk('検索したいディレクトリのパス'):
    for filename in filenames:
        if filename.endswith('.txt'):
            print(f'見つかりました: {os.path.join(dirpath, filename)}')

このコードを実行すると、指定したディレクトリ内の全ての.txtファイルのフルパスが表示されます。

os.walk()のパフォーマンスと注意点

os.walk()は非常に便利ですが、ディレクトリ内に大量のファイルやサブフォルダが存在する場合、パフォーマンスに影響を与えることがあります。

以下の点に注意してください。

• パフォーマンス: 大量のファイルを持つディレクトリを走査する際は、処理に時間がかかることがあります。
• メモリ使用量: 大きなディレクトリ構造を持つ場合、メモリ使用量が増加する可能性があります。
• シンボリックリンク: シンボリックリンクを含む場合、無限ループに陥る可能性があるため、注意が必要です。

これらの点を考慮し、必要に応じて条件を追加して効率的にファイル検索を行うことが重要です。

pathlibモジュールを使ったファイル検索

Pythonのpathlibモジュールは、ファイルシステムのパスをオブジェクト指向で扱うための便利なツールです。

特に、pathlib.Path.rglob()メソッドを使用することで、サブフォルダを含むファイル検索が簡単に行えます。

以下では、pathlibモジュールの使い方やその特性について詳しく解説します。

pathlib.Path.rglob()の基本的な使い方

pathlib.Path.rglob()は、指定したパターンに一致するファイルを再帰的に検索するためのメソッドです。

基本的な使い方は以下の通りです。

from pathlib import Path
# 検索したいディレクトリのパスを指定
path = Path('検索したいディレクトリのパス')
# rglob()を使って全てのファイルを検索
for file in path.rglob('*'):
    print(file)  # ファイルのパスを表示

このコードを実行すると、指定したディレクトリ内の全てのファイルのパスが表示されます。

pathlib.Path.rglob()でサブフォルダを含めたファイル検索

pathlib.Path.rglob()を使用することで、サブフォルダを含めたファイル検索が簡単に行えます。

以下のコードは、特定のディレクトリ内の全てのファイルをリストアップする例です。

from pathlib import Path
# 検索したいディレクトリのパスを指定
path = Path('検索したいディレクトリのパス')
# rglob()を使って全てのファイルを検索
for file in path.rglob('*'):
    print(file)  # ファイルのパスを表示

このコードを実行すると、指定したディレクトリとそのサブフォルダ内の全てのファイルのパスが表示されます。

特定のパターンに一致するファイルの検索

pathlib.Path.rglob()を使用すると、特定のパターンに一致するファイルを検索することができます。

以下は、.txtファイルを検索する例です。

from pathlib import Path
# 検索したいディレクトリのパスを指定
path = Path('検索したいディレクトリのパス')
# rglob()を使って特定の拡張子を持つファイルを検索
for file in path.rglob('*.txt'):
    print(file)  # .txtファイルのパスを表示

このコードを実行すると、指定したディレクトリ内の全ての.txtファイルのパスが表示されます。

pathlibとosモジュールの違い

pathlibとosモジュールは、どちらもファイルシステムの操作を行うためのツールですが、いくつかの違いがあります。

以下の表にまとめました。

pathlibは、より直感的で可読性の高いコードを書くことができるため、最近のPythonプログラムでは好まれる傾向があります。

pathlibを使う際の注意点

pathlibを使用する際には、以下の点に注意が必要です。

• Pythonバージョン: pathlibはPython 3.4以降で利用可能です。

古いバージョンでは使用できません。

• パスの互換性: pathlibのPathオブジェクトは、他のモジュール(例：os)と組み合わせて使用する際に、型の変換が必要になることがあります。
• シンボリックリンク: シンボリックリンクを含む場合、意図しない動作をすることがあるため、注意が必要です。

これらの点を考慮し、pathlibを効果的に活用してファイル検索を行うことが重要です。

globモジュールを使ったファイル検索

Pythonのglobモジュールは、Unixシェルスタイルのパターンマッチングを使用してファイル名を検索するための便利なツールです。

特に、特定のパターンに一致するファイルを簡単に見つけることができます。

以下では、globモジュールの使い方やその特性について詳しく解説します。

glob.glob()の基本的な使い方

glob.glob()は、指定したパターンに一致するファイルのリストを取得するための関数です。

基本的な使い方は以下の通りです。

import glob
# 指定したパターンに一致するファイルを検索
files = glob.glob('検索したいディレクトリのパス/*')
for file in files:
    print(file)  # ファイルのパスを表示

このコードを実行すると、指定したディレクトリ内の全てのファイルのパスが表示されます。

glob.glob()でサブフォルダを含めたファイル検索

glob.glob()を使用することで、サブフォルダを含めたファイル検索が可能です。

以下のコードは、特定のディレクトリ内の全てのファイルをリストアップする例です。

import glob
# 指定したパターンに一致するファイルを検索(サブフォルダも含む)
files = glob.glob('検索したいディレクトリのパス/**/*', recursive=True)
for file in files:
    print(file)  # ファイルのパスを表示

このコードを実行すると、指定したディレクトリとそのサブフォルダ内の全てのファイルのパスが表示されます。

**を使用することで、再帰的に検索が行われます。

特定のパターンに一致するファイルの検索

glob.glob()を使用すると、特定のパターンに一致するファイルを検索することができます。

以下は、.txtファイルを検索する例です。

import glob
# 指定したパターンに一致するファイルを検索(.txtファイル)
files = glob.glob('検索したいディレクトリのパス/**/*.txt', recursive=True)
for file in files:
    print(file)  # .txtファイルのパスを表示

このコードを実行すると、指定したディレクトリ内の全ての.txtファイルのパスが表示されます。

globモジュールの制限と注意点

globモジュールは非常に便利ですが、いくつかの制限や注意点があります。

以下にまとめました。

• パターンの制限: globはUnixシェルスタイルのパターンマッチングを使用しているため、正規表現のような複雑なパターンには対応していません。
• パフォーマンス: 大量のファイルを持つディレクトリを検索する際、パフォーマンスが低下することがあります。
• シンボリックリンク: シンボリックリンクを含む場合、意図しないファイルが検索結果に含まれることがあります。
• OS依存性: globはOSによって動作が異なる場合があるため、特にパスの区切り文字に注意が必要です。

Windowsでは\、Unix系では/が使用されます。

これらの点を考慮し、globモジュールを効果的に活用してファイル検索を行うことが重要です。

応用例：ファイル検索の実践的な活用

ファイル検索の技術を活用することで、さまざまな実践的なタスクを効率的に行うことができます。

以下では、検索結果をリストにまとめたり、ファイルに書き出したり、フィルタリングしたりする方法について解説します。

検索結果をリストにまとめる方法

ファイル検索の結果をリストにまとめることで、後で利用しやすくなります。

以下は、特定のディレクトリ内の全ての.txtファイルをリストにまとめる例です。

from pathlib import Path
# 検索したいディレクトリのパスを指定
path = Path('検索したいディレクトリのパス')
# .txtファイルのリストを作成
txt_files = [file for file in path.rglob('*.txt')]
# 検索結果を表示
for file in txt_files:
    print(file)

このコードを実行すると、指定したディレクトリ内の全ての.txtファイルがリストにまとめられ、表示されます。

検索結果をファイルに書き出す方法

検索結果をファイルに書き出すことで、後で参照したり、他のプログラムで利用したりすることができます。

以下は、検索結果をresults.txtというファイルに書き出す例です。

from pathlib import Path
# 検索したいディレクトリのパスを指定
path = Path('検索したいディレクトリのパス')
# .txtファイルのリストを作成
txt_files = path.rglob('*.txt')
# 結果をファイルに書き出す
with open('results.txt', 'w', encoding='utf-8') as f:
    for file in txt_files:
        f.write(str(file) + '\n')

このコードを実行すると、指定したディレクトリ内の全ての.txtファイルのパスがresults.txtに書き出されます。

検索結果をフィルタリングする方法

検索結果をフィルタリングすることで、特定の条件に合ったファイルのみを取得することができます。

以下は、ファイルサイズが1MB以上の.txtファイルをフィルタリングする例です。

from pathlib import Path
# 検索したいディレクトリのパスを指定
path = Path('検索したいディレクトリのパス')
# 1MB以上の.txtファイルをフィルタリング
large_txt_files = [file for file in path.rglob('*.txt') if file.stat().st_size >= 1 * 1024 * 1024]
# 検索結果を表示
for file in large_txt_files:
    print(file)

このコードを実行すると、指定したディレクトリ内の1MB以上の.txtファイルがリストアップされます。

ファイルのメタデータを取得する方法

ファイルのメタデータ(作成日時、更新日時、サイズなど)を取得することで、ファイルの管理が容易になります。

以下は、ファイルのメタデータを取得して表示する例です。

from pathlib import Path
# 検索したいディレクトリのパスを指定
path = Path('検索したいディレクトリのパス')
# .txtファイルのメタデータを表示
for file in path.rglob('*.txt'):
    print(f'ファイル名: {file.name}')
    print(f'作成日時: {file.stat().st_ctime}')
    print(f'更新日時: {file.stat().st_mtime}')
    print(f'サイズ: {file.stat().st_size} bytes')
    print('---')

このコードを実行すると、指定したディレクトリ内の全ての.txtファイルのメタデータが表示されます。

大量のファイルを効率的に検索する方法

大量のファイルを効率的に検索するためには、検索条件を明確にし、必要なファイルのみを対象にすることが重要です。

以下は、特定の拡張子を持つファイルを検索する際に、条件を追加して効率的に検索する例です。

from pathlib import Path
# 検索したいディレクトリのパスを指定
path = Path('検索したいディレクトリのパス')
# 特定の拡張子を持つファイルを効率的に検索
target_extensions = ['.txt', '.log']
files = [file for file in path.rglob('*') if file.suffix in target_extensions]
# 検索結果を表示
for file in files:
    print(file)

このコードを実行すると、指定したディレクトリ内の.txtおよび.logファイルのみがリストアップされ、効率的に検索が行われます。

これらの応用例を活用することで、ファイル検索の技術をさらに深め、実践的なタスクを効率的に行うことができます。

まとめ

この記事では、Pythonを使用したファイル検索の方法について、osモジュール、pathlibモジュール、globモジュールのそれぞれの特徴や使い方を詳しく解説しました。

また、検索結果をリストにまとめたり、ファイルに書き出したりする方法、特定の条件でフィルタリングする技術についても触れました。

これらの知識を活用して、実際のプロジェクトや日常のタスクに役立ててみてください。

ファイル検索の技術をマスターすることで、効率的なデータ管理や分析が可能になります。