[Python] 日本語OCRでPDFからテキストを抽出する方法

Pythonで日本語OCRを使用してPDFからテキストを抽出するには、主に PyMuPDF や pdf2image でPDFを画像に変換し、その後 Tesseract OCR を使ってテキストを抽出する方法が一般的です。

まず、pdf2imageでPDFを画像に変換し、次にpytesseractを使ってOCR処理を行います。

Tesseractは日本語対応のデータをインストールする必要があります。

Tesseractの日本語データはtesseract-ocr-jpnとして提供されています。

OCRとは？PDFからテキストを抽出する仕組み

OCR(Optical Character Recognition)は、画像やPDFファイルに含まれる文字を認識し、デジタルテキストに変換する技術です。

特にスキャンした文書や画像からテキストを抽出する際に利用されます。

PDFファイルは、通常、テキスト情報を含むだけでなく、画像として保存されることも多いため、OCR技術が必要になります。

OCRの基本的な仕組み

OCRは、以下のプロセスを経て文字を認識します。

1. 画像の前処理: 画像のノイズを除去し、コントラストを調整します。
2. 文字のセグメンテーション: 画像内の文字を個別の文字や単語に分割します。
3. 特徴抽出: 各文字の特徴を抽出し、データベースに保存された文字と比較します。
4. 文字認識: 抽出した特徴をもとに、最も適切な文字を特定します。
5. 後処理: 認識結果を整形し、誤認識を修正します。

このプロセスにより、OCRは画像内の文字をデジタルテキストとして再現します。

日本語OCRの難しさと対応方法

日本語は、漢字、ひらがな、カタカナの3種類の文字を使用しており、文字の形状が複雑です。

このため、OCR技術において日本語の認識は特に難しいとされています。

以下のような対応方法があります。

• フォントの多様性: 様々なフォントに対応するため、OCRエンジンは多くのフォントデータを学習する必要があります。
• 文脈の理解: 日本語は文脈によって意味が変わるため、文脈を考慮した認識が求められます。
• 辞書の活用: 認識精度を向上させるために、日本語辞書を利用して誤認識を減らすことが重要です。

PDFからのテキスト抽出の流れ

PDFからテキストを抽出する際の一般的な流れは以下の通りです。

この流れを理解することで、PDFから効率的にテキストを抽出することが可能になります。

必要なライブラリとツールのインストール

PDFからテキストを抽出するためには、いくつかのライブラリとツールをインストールする必要があります。

以下に、主要なライブラリとそのインストール方法を説明します。

PyMuPDFのインストールと概要

PyMuPDFは、PDFファイルを操作するための強力なライブラリです。

PDFのページを画像に変換する機能があり、OCR処理の前段階として非常に便利です。

インストール方法

以下のコマンドを実行して、PyMuPDFをインストールします。

pip install PyMuPDF

pdf2imageのインストールと概要

pdf2imageは、PDFファイルを画像に変換するためのライブラリです。

これを使用することで、PDFの各ページを簡単に画像として取得できます。

インストール方法

以下のコマンドを実行して、pdf2imageをインストールします。

pip install pdf2image

Tesseract OCRのインストール

Tesseractは、オープンソースのOCRエンジンであり、多くの言語に対応しています。

日本語のテキスト認識にも対応しており、非常に高い精度を誇ります。

インストール方法

Tesseractは、OSに応じて異なる方法でインストールします。

• Windows: Tesseractのインストーラーをこちらからダウンロードし、インストールします。
• macOS: Homebrewを使用してインストールします。

brew install tesseract

• Linux: 以下のコマンドでインストールします。

sudo apt-get install tesseract-ocr

日本語対応のTesseractデータのインストール方法

Tesseractを日本語で使用するためには、日本語の言語データをインストールする必要があります。

インストール方法

• Windows: Tesseractのインストール時に日本語データを選択するか、後から追加します。
• macOS: Homebrewで日本語データをインストールします。

brew install tesseract-lang

• Linux: 以下のコマンドで日本語データをインストールします。

sudo apt-get install tesseract-ocr-jpn

pytesseractのインストールと概要

pytesseractは、PythonからTesseract OCRを簡単に利用するためのラッパーライブラリです。

これを使用することで、Pythonコード内からOCR機能を呼び出すことができます。

インストール方法

以下のコマンドを実行して、pytesseractをインストールします。

pip install pytesseract

これで、必要なライブラリとツールのインストールが完了しました。

次のステップでは、これらのライブラリを使用してPDFからテキストを抽出する方法を学びます。

PDFを画像に変換する方法

PDFからテキストを抽出するためには、まずPDFの各ページを画像に変換する必要があります。

ここでは、PyMuPDFとpdf2imageの2つのライブラリを使用した画像変換の方法を説明します。

PyMuPDFを使ったPDFの画像変換

PyMuPDFを使用すると、PDFの各ページを簡単に画像として取得できます。

以下は、PyMuPDFを使ったPDFの画像変換のサンプルコードです。

import fitz  # PyMuPDFをインポート
def pdf_to_images(pdf_path):
    # PDFファイルを開く
    pdf_document = fitz.open(pdf_path)
    images = []
    
    # 各ページを画像に変換
    for page_num in range(len(pdf_document)):
        page = pdf_document.load_page(page_num)  # ページを読み込む
        pix = page.get_pixmap()  # ページを画像に変換
        images.append(pix)  # 画像をリストに追加
    
    pdf_document.close()  # PDFファイルを閉じる
    return images
# 使用例
images = pdf_to_images("sample.pdf")

このコードを実行すると、指定したPDFファイルの各ページが画像としてリストに格納されます。

pdf2imageを使ったPDFの画像変換

pdf2imageを使用することで、PDFを画像に変換することもできます。

以下は、pdf2imageを使ったPDFの画像変換のサンプルコードです。

from pdf2image import convert_from_path
def pdf_to_images(pdf_path):
    # PDFファイルを画像に変換
    images = convert_from_path(pdf_path)
    return images
# 使用例
images = pdf_to_images("sample.pdf")

このコードを実行すると、指定したPDFファイルの各ページが画像としてリストに格納されます。

画像変換時の解像度設定と最適化

画像変換時の解像度は、OCRの精度に大きく影響します。

解像度が低すぎると、文字がぼやけて認識精度が下がる可能性があります。

以下のポイントに注意して解像度を設定しましょう。

• 解像度の設定: pdf2imageでは、convert_from_path関数のdpi引数を使用して解像度を設定できます。

一般的には300dpi以上が推奨されます。

images = convert_from_path("sample.pdf", dpi=300)

• 画像の最適化: 画像のサイズを小さくするために、JPEG形式で保存することも考慮しましょう。

これにより、OCR処理の速度が向上します。

for i, image in enumerate(images):
    image.save(f"page_{i}.jpg", "JPEG", quality=85)  # JPEG形式で保存

これらの設定を行うことで、OCR処理の精度と速度を向上させることができます。

Tesseract OCRを使った日本語テキスト抽出

Tesseract OCRを使用することで、画像から日本語のテキストを抽出することができます。

ここでは、pytesseractを使った基本的な使い方や設定方法、テキスト抽出の手順について説明します。

pytesseractの基本的な使い方

pytesseractは、PythonからTesseract OCRを簡単に利用するためのラッパーライブラリです。

以下は、pytesseractを使った基本的なサンプルコードです。

import pytesseract
from PIL import Image
# 画像ファイルを読み込む
image = Image.open("sample_image.png")
# テキストを抽出する
extracted_text = pytesseract.image_to_string(image, lang='jpn')
print(extracted_text)  # 抽出したテキストを表示

このコードを実行すると、指定した画像から日本語のテキストが抽出され、コンソールに表示されます。

日本語OCRの設定方法

日本語のテキストを正確に抽出するためには、Tesseractに日本語の言語データを指定する必要があります。

lang='jpn'を指定することで、日本語のOCRを実行できます。

extracted_text = pytesseract.image_to_string(image, lang='jpn')

また、Tesseractのインストール時に日本語データが正しくインストールされていることを確認してください。

画像からテキストを抽出する手順

画像からテキストを抽出する手順は以下の通りです。

1. 画像の読み込み: PIL(Pillow)ライブラリを使用して画像を読み込みます。
2. OCRの実行: pytesseractを使用して、画像からテキストを抽出します。
3. 結果の表示: 抽出したテキストを表示または保存します。

以下は、これらの手順をまとめたサンプルコードです。

import pytesseract
from PIL import Image
def extract_text_from_image(image_path):
    # 画像ファイルを読み込む
    image = Image.open(image_path)
    
    # テキストを抽出する
    extracted_text = pytesseract.image_to_string(image, lang='jpn')
    
    return extracted_text
# 使用例
text = extract_text_from_image("sample_image.png")
print(text)

抽出結果の精度を向上させるためのヒント

OCRの精度を向上させるためには、以下のポイントに注意しましょう。

• 画像の前処理: 画像の解像度を上げたり、ノイズを除去したりすることで、認識精度が向上します。

画像をグレースケールに変換することも効果的です。

image = image.convert("L")  # グレースケールに変換

• 適切な解像度: 300dpi以上の解像度で画像を用意することが推奨されます。

解像度が低いと、文字がぼやけて認識精度が下がります。

• 辞書の活用: Tesseractの辞書機能を利用して、特定の用語や名前を認識させることができます。

カスタム辞書を作成することで、特定の分野に特化した認識精度を向上させることが可能です。

これらのヒントを活用することで、Tesseract OCRを使用した日本語テキストの抽出精度を向上させることができます。

PDFの複数ページからテキストを抽出する方法

PDFファイルには複数のページが含まれていることが多く、各ページからテキストを抽出するためには、ページごとに画像に変換し、OCRを適用する必要があります。

以下にその手順を説明します。

複数ページのPDFを画像に変換する方法

まず、PDFの各ページを画像に変換します。

ここでは、PyMuPDFを使用した方法を示します。

import fitz  # PyMuPDFをインポート
def pdf_to_images(pdf_path):
    # PDFファイルを開く
    pdf_document = fitz.open(pdf_path)
    images = []
    
    # 各ページを画像に変換
    for page_num in range(len(pdf_document)):
        page = pdf_document.load_page(page_num)  # ページを読み込む
        pix = page.get_pixmap()  # ページを画像に変換
        images.append(pix)  # 画像をリストに追加
    
    pdf_document.close()  # PDFファイルを閉じる
    return images
# 使用例
images = pdf_to_images("sample.pdf")

このコードを実行すると、指定したPDFファイルの各ページが画像としてリストに格納されます。

各ページごとにOCRを適用する方法

次に、変換した画像に対してOCRを適用し、テキストを抽出します。

pytesseractを使用して、各ページの画像からテキストを抽出する方法を示します。

import pytesseract
from PIL import Image
def extract_text_from_images(images):
    extracted_texts = []
    
    for image in images:
        # 画像をPIL形式に変換
        pil_image = Image.frombytes("RGB", [image.width, image.height], image.samples)
        
        # テキストを抽出する
        extracted_text = pytesseract.image_to_string(pil_image, lang='jpn')
        extracted_texts.append(extracted_text)  # 抽出したテキストをリストに追加
    
    return extracted_texts
# 使用例
texts = extract_text_from_images(images)

このコードを実行すると、各ページから抽出したテキストがリストに格納されます。

抽出したテキストを結合する方法

最後に、抽出したテキストを結合して一つのテキストとして保存します。

以下は、抽出したテキストを結合する方法です。

def combine_texts(texts):
    combined_text = "\n".join(texts)  # 各ページのテキストを改行で結合
    return combined_text
# 使用例
combined_text = combine_texts(texts)
print(combined_text)  # 結合したテキストを表示

このコードを実行すると、すべてのページから抽出したテキストが一つの文字列として結合され、表示されます。

これで、PDFの複数ページからテキストを抽出する一連の流れが完了しました。

各ページを画像に変換し、OCRを適用し、最終的にテキストを結合することで、効率的に情報を取得することができます。

抽出したテキストの後処理

OCRを使用して抽出したテキストは、しばしばノイズや不要な文字が含まれているため、後処理が必要です。

ここでは、テキストのクリーニングや整形、正規表現を使った不要な文字の削除、日本語特有の問題の処理について説明します。

テキストのクリーニングと整形

抽出したテキストは、改行や余分なスペース、特殊文字などが含まれていることがあります。

これらを取り除くことで、テキストを整形します。

以下は、基本的なクリーニングのサンプルコードです。

def clean_text(text):
    # 改行をスペースに置き換え
    text = text.replace("\n", " ")
    # 余分なスペースを削除
    text = " ".join(text.split())
    return text
# 使用例
cleaned_text = clean_text(combined_text)
print(cleaned_text)  # クリーニング後のテキストを表示

このコードを実行すると、改行がスペースに置き換えられ、余分なスペースが削除されたテキストが得られます。

正規表現を使った不要な文字の削除

正規表現を使用することで、特定のパターンにマッチする不要な文字を簡単に削除できます。

例えば、数字や特定の記号を削除する場合、以下のように記述します。

import re
def remove_unwanted_characters(text):
    # 数字と特定の記号を削除
    text = re.sub(r'[0-9]', '', text)  # 数字を削除
    text = re.sub(r'[!-/:-@[-`{-~]', '', text)  # 特定の記号を削除
    return text
# 使用例
cleaned_text = remove_unwanted_characters(cleaned_text)
print(cleaned_text)  # 不要な文字を削除したテキストを表示

このコードを実行すると、指定した不要な文字が削除されたテキストが得られます。

日本語特有の問題(改行やスペース)の処理

日本語のテキストには、特有の改行やスペースの問題が存在します。

例えば、文の途中で改行されることが多く、これを適切に処理する必要があります。

以下は、日本語特有の問題を処理するためのサンプルコードです。

def process_japanese_text(text):
    # 日本語の文の途中での改行を処理
    text = re.sub(r'(?<=[^\s])\n(?=[^\s])', '', text)  # 文の途中の改行を削除
    # スペースを適切に整形
    text = re.sub(r'\s+', ' ', text)  # 連続するスペースを1つに
    return text.strip()  # 前後のスペースを削除
# 使用例
final_text = process_japanese_text(cleaned_text)
print(final_text)  # 日本語特有の問題を処理したテキストを表示

このコードを実行すると、日本語の文の途中での改行が削除され、スペースが適切に整形されたテキストが得られます。

これらの後処理を行うことで、OCRから抽出したテキストの品質を向上させ、より使いやすい形に整えることができます。

応用例：PDFから特定の情報を抽出する

PDFから特定の情報を抽出することは、ビジネスや研究において非常に有用です。

ここでは、領収書や請求書から金額を抽出する方法、契約書から特定のキーワードを抽出する方法、書籍や論文から目次や章タイトルを抽出する方法について説明します。

領収書や請求書から金額を抽出する

領収書や請求書には、金額が記載されています。

これを抽出するためには、OCRでテキストを取得した後、正規表現を使用して金額のパターンを検索します。

import re
def extract_amount(text):
    # 金額のパターンを正規表現で定義
    amount_pattern = r'(\d{1,3}(?:,\d{3})*(?:\.\d{2})?)'
    amounts = re.findall(amount_pattern, text)
    return amounts
# 使用例
extracted_text = "領収書: 2023年1月1日 100,000円"
amounts = extract_amount(extracted_text)
print(amounts)  # 抽出した金額を表示

このコードを実行すると、領収書から抽出した金額がリストとして表示されます。

契約書から特定のキーワードを抽出する

契約書には、特定のキーワードやフレーズが含まれています。

これを抽出するためには、キーワードをリスト化し、テキスト内で検索します。

def extract_keywords(text, keywords):
    found_keywords = {}
    for keyword in keywords:
        if keyword in text:
            found_keywords[keyword] = text.count(keyword)  # キーワードの出現回数をカウント
    return found_keywords
# 使用例
contract_text = "この契約は、2023年1月1日から2024年1月1日まで有効です。"
keywords = ["契約", "有効", "期間"]
found_keywords = extract_keywords(contract_text, keywords)
print(found_keywords)  # 抽出したキーワードとその出現回数を表示

このコードを実行すると、契約書から抽出したキーワードとその出現回数が表示されます。

書籍や論文から目次や章タイトルを抽出する

書籍や論文の目次や章タイトルを抽出するには、特定のフォーマットに基づいてテキストを解析します。

通常、目次や章タイトルは特定のパターン(例えば、数字や特定の記号)で始まることが多いです。

def extract_table_of_contents(text):
    # 目次のパターンを正規表現で定義
    toc_pattern = r'^\d+\.\s*(.+)$'
    toc_lines = re.findall(toc_pattern, text, re.MULTILINE)
    return toc_lines
# 使用例
toc_text = """1. はじめに
2. 背景
3. 方法
4. 結果
5. 考察"""
toc = extract_table_of_contents(toc_text)
print(toc)  # 抽出した目次を表示

このコードを実行すると、書籍や論文から抽出した目次がリストとして表示されます。

これらの応用例を通じて、PDFから特定の情報を効率的に抽出する方法を学ぶことができます。

これにより、ビジネスや研究の効率を大幅に向上させることが可能です。

まとめ

この記事では、Pythonを使用してPDFから日本語テキストを抽出する方法について詳しく解説しました。

具体的には、OCR技術の基本から始まり、必要なライブラリのインストール、PDFを画像に変換する方法、Tesseract OCRを用いたテキスト抽出の手順、さらには抽出したテキストの後処理や特定の情報の抽出方法に至るまで、幅広く取り上げました。

これにより、PDFからの情報抽出に関する実践的なスキルを身につけることができるでしょう。

今後は、実際に自分のPDFファイルを使って、この記事で学んだ手法を試してみることをお勧めします。

これにより、より効率的に情報を整理し、活用することができるようになるでしょう。