[Python] difflibモジュールの使い方 – ファイルの比較/差分/一致箇所の検索

from difflib import SequenceMatcher
# 比較する文字列
str1 = "Pythonプログラミング"
str2 = "Pythonプログラミング入門"
# SequenceMatcherのインスタンスを作成
matcher = SequenceMatcher(None, str1, str2)
# 類似度を計算
similarity = matcher.ratio()
print(f"類似度: {similarity:.2f}")

類似度: 0.93

from difflib import SequenceMatcher
str1 = "Pythonプログラミング"
str2 = "Pythonプログラミング入門"
matcher = SequenceMatcher(None, str1, str2)
matching_blocks = matcher.get_matching_blocks()
for block in matching_blocks:
    print(f"一致ブロック: {block}")

一致ブロック: Match(a=0, b=0, size=13)
一致ブロック: Match(a=13, b=15, size=0)

from difflib import SequenceMatcher
def filter_similar_strings(input_string, candidates):
    threshold = 0.7  # 類似度の閾値
    similar_candidates = []
    for candidate in candidates:
        matcher = SequenceMatcher(None, input_string, candidate)
        if matcher.ratio() >= threshold:
            similar_candidates.append(candidate)
    return similar_candidates
# 候補リスト
candidates = ["Pythonプログラミング", "Python入門", "Javaプログラミング", "Pythonの基礎"]
# フィルタリング
result = filter_similar_strings("Pythonプログラミング", candidates)
print("類似度が高い候補:", result)

類似度が高い候補: ['Pythonプログラミング']

from difflib import unified_diff
# 比較する2つのテキスト
text1 = """\
Pythonは強力なプログラミング言語です。
データ分析や機械学習に広く使われています。
"""
text2 = """\
Pythonは非常に強力なプログラミング言語です。
データ分析や機械学習、Web開発に広く使われています。
"""
# unified_diffを使用して差分を取得
diff = unified_diff(text1.splitlines(), text2.splitlines(), lineterm='', fromfile='file1.txt', tofile='file2.txt')
# 差分を表示
for line in diff:
    print(line)

--- file1.txt
+++ file2.txt
@@ -1,2 +1,2 @@
-Pythonは強力なプログラミング言語です。
-データ分析や機械学習に広く使われています。
+Pythonは非常に強力なプログラミング言語です。
+データ分析や機械学習、Web開発に広く使われています。

from difflib import ndiff
# 比較する2つのテキスト
text1 = """\
Pythonは強力なプログラミング言語です。
データ分析や機械学習に広く使われています。
"""
text2 = """\
Pythonは非常に強力なプログラミング言語です。
データ分析や機械学習、Web開発に広く使われています。
"""
# ndiffを使用して差分を取得
diff = ndiff(text1.splitlines(), text2.splitlines())
# 差分を表示
for line in diff:
    print(line)

- Pythonは強力なプログラミング言語です。
+ Pythonは非常に強力なプログラミング言語です。
?         +++

- データ分析や機械学習に広く使われています。
+ データ分析や機械学習、Web開発に広く使われています。
?            ++++++

from difflib import unified_diff
# ファイルを読み込む関数
def read_file(file_path):
    with open(file_path, 'r', encoding='utf-8') as file:
        return file.readlines()
# ファイルの差分を表示する関数
def show_file_diff(file1, file2):
    text1 = read_file(file1)
    text2 = read_file(file2)
    
    diff = unified_diff(text1, text2, lineterm='', fromfile=file1, tofile=file2)
    
    for line in diff:
        print(line)
# 使用例
show_file_diff('file1.txt', 'file2.txt')

# Gitの差分表示の例
# git diff コマンドを使用して、変更内容を表示することができます。
# 例: git diff HEAD~1 HEAD

from difflib import SequenceMatcher
# 比較する文字列
str1 = "Pythonプログラミングは楽しい"
str2 = "Pythonプログラミングはとても楽しい"
# SequenceMatcherのインスタンスを作成
matcher = SequenceMatcher(None, str1, str2)
# 一致ブロックを取得
matching_blocks = matcher.get_matching_blocks()
# 一致ブロックを表示
for block in matching_blocks:
    print(f"一致ブロック: 開始位置1={block.a}, 開始位置2={block.b}, サイズ={block.size}")

一致ブロック: 開始位置1=0, 開始位置2=0, サイズ=18
一致ブロック: 開始位置1=18, 開始位置2=20, サイズ=0

from difflib import SequenceMatcher
str1 = "Pythonプログラミングは楽しい"
str2 = "Pythonプログラミングはとても楽しい"
matcher = SequenceMatcher(None, str1, str2)
matching_blocks = matcher.get_matching_blocks()
# 一致箇所を抽出
for block in matching_blocks:
    if block.size > 0:  # 一致サイズが0でない場合
        match_str1 = str1[block.a:block.a + block.size]
        match_str2 = str2[block.b:block.b + block.size]
        print(f"一致箇所: '{match_str1}' と '{match_str2}'")

一致箇所: 'Pythonプログラミングは' と 'Pythonプログラミングは'

from difflib import SequenceMatcher
def highlight_matches(str1, str2):
    matcher = SequenceMatcher(None, str1, str2)
    matching_blocks = matcher.get_matching_blocks()
    
    highlighted_str1 = str1
    highlighted_str2 = str2
    
    # 一致箇所を強調表示
    for block in matching_blocks:
        if block.size > 0:
            match_str1 = str1[block.a:block.a + block.size]
            match_str2 = str2[block.b:block.b + block.size]
            highlighted_str1 = highlighted_str1.replace(match_str1, f"<strong>{match_str1}</strong>")
            highlighted_str2 = highlighted_str2.replace(match_str2, f"<strong>{match_str2}</strong>")
    
    return highlighted_str1, highlighted_str2
# 使用例
str1 = "Pythonプログラミングは楽しい"
str2 = "Pythonプログラミングはとても楽しい"
highlighted1, highlighted2 = highlight_matches(str1, str2)
print("強調表示されたテキスト1:", highlighted1)
print("強調表示されたテキスト2:", highlighted2)

強調表示されたテキスト1: <strong>Pythonプログラミングは</strong>楽しい
強調表示されたテキスト2: <strong>Pythonプログラミングは</strong>とても楽しい

from difflib import HtmlDiff
# 比較する2つのテキスト
text1 = """\
Pythonは強力なプログラミング言語です。
データ分析や機械学習に広く使われています。
"""
text2 = """\
Pythonは非常に強力なプログラミング言語です。
データ分析や機械学習、Web開発に広く使われています。
"""
# HtmlDiffのインスタンスを作成
html_diff = HtmlDiff()
# 差分をHTML形式で生成
diff_html = html_diff.make_file(text1.splitlines(), text2.splitlines(), fromdesc='file1.txt', todesc='file2.txt')
# HTMLを表示
with open('diff_output.html', 'w', encoding='utf-8') as file:
    file.write(diff_html)

<table>
    <tr>
        <th></th>
        <th>file1.txt</th>
        <th>file2.txt</th>
    </tr>
    <tr>
        <td>1</td>
        <td>Pythonは強力なプログラミング言語です。</td>
        <td class="diff_add">Pythonは非常に強力なプログラミング言語です。</td>
    </tr>
    <tr>
        <td>2</td>
        <td>データ分析や機械学習に広く使われています。</td>
        <td class="diff_add">データ分析や機械学習、Web開発に広く使われています。</td>
    </tr>
</table>

from flask import Flask, request, render_template_string
from difflib import HtmlDiff
app = Flask(__name__)
@app.route('/', methods=['GET', 'POST'])
def index():
    if request.method == 'POST':
        text1 = request.form['text1']
        text2 = request.form['text2']
        
        html_diff = HtmlDiff()
        diff_html = html_diff.make_file(text1.splitlines(), text2.splitlines(), fromdesc='Original', todesc='Modified')
        
        return render_template_string('''
            <h1>差分表示</h1>
            <div>{{ diff_html|safe }}</div>
            <a href="/">戻る</a>
        ''', diff_html=diff_html)
    
    return '''
        <form method="post">
            <h2>元のテキスト</h2>
            <textarea name="text1" rows="10" cols="50"></textarea>
            <h2>変更後のテキスト</h2>
            <textarea name="text2" rows="10" cols="50"></textarea>
            <br>
            <input type="submit" value="差分を表示">
        </form>
    '''
if __name__ == '__main__':
    app.run(debug=True)

from difflib import unified_diff
def track_changes(old_file, new_file):
    with open(old_file, 'r', encoding='utf-8') as f1, open(new_file, 'r', encoding='utf-8') as f2:
        old_text = f1.readlines()
        new_text = f2.readlines()
        
    diff = unified_diff(old_text, new_text, fromfile=old_file, tofile=new_file)
    
    for line in diff:
        print(line)
# 使用例
track_changes('old_version.txt', 'new_version.txt')

from difflib import SequenceMatcher
def cleanse_data(data):
    cleaned_data = []
    threshold = 0.8  # 類似度の閾値
    for entry in data:
        if not any(SequenceMatcher(None, entry, existing).ratio() > threshold for existing in cleaned_data):
            cleaned_data.append(entry)
    return cleaned_data
# 使用例
data = ["データ分析", "データ分析", "データ解析", "データ分析に関する研究"]
cleaned_data = cleanse_data(data)
print("クレンジング後のデータ:", cleaned_data)

クレンジング後のデータ: ['データ分析', 'データ解析', 'データ分析に関する研究']

from difflib import SequenceMatcher
def compare_documents(doc1, doc2):
    matcher = SequenceMatcher(None, doc1, doc2)
    similarity = matcher.ratio()
    return similarity
# 使用例
doc1 = "Pythonは強力なプログラミング言語です。"
doc2 = "Pythonは非常に強力なプログラミング言語です。"
similarity_score = compare_documents(doc1, doc2)
print(f"文書の類似度: {similarity_score:.2f}")

文書の類似度: 0.94

from difflib import unified_diff
def show_version_diff(version1, version2):
    diff = unified_diff(version1.splitlines(), version2.splitlines(), lineterm='', fromfile='Version 1', tofile='Version 2')
    
    for line in diff:
        print(line)
# 使用例
version1 = """\
Pythonは強力なプログラミング言語です。
データ分析や機械学習に広く使われています。
"""
version2 = """\
Pythonは非常に強力なプログラミング言語です。
データ分析や機械学習、Web開発に広く使われています。
"""
show_version_diff(version1, version2)

--- Version 1
+++ Version 2
@@ -1,2 +1,2 @@
-Pythonは強力なプログラミング言語です。
-データ分析や機械学習に広く使われています。
+Pythonは非常に強力なプログラミング言語です。
+データ分析や機械学習、Web開発に広く使われています。