Web

[Python] BeautifulSoupのselect()メソッドの使い方を解説

2025-01-18更新日: 2025-01-18

BeautifulSoupのselect()メソッドは、CSSセレクタを使ってHTML要素を抽出するためのメソッドです。

select()はリストを返し、該当するすべての要素を取得できます。

例えば、クラス名が”example”の要素を取得するにはselect('.example')、IDが”main”の要素を取得するにはselect('#main')を使用します。

タグ名で指定することも可能で、select('div')はすべての<div>要素を取得します。

目次から探す

BeautifulSoupのselect()メソッドとは
select()メソッドの基本的な使い方
select()メソッドの応用
select()メソッドの返り値の扱い方
実践例：select()メソッドを使ったWebスクレイピング
まとめ

BeautifulSoupのselect()メソッドとは

BeautifulSoupは、PythonでHTMLやXMLを解析するためのライブラリです。

その中でも、select()メソッドは、CSSセレクタを使用して特定の要素を簡単に取得するための強力な機能を提供します。

このメソッドを使うことで、HTMLドキュメント内の要素を効率的に選択し、操作することが可能になります。

select()メソッドは、引数としてCSSセレクタを受け取り、該当する要素のリストを返します。

これにより、クラス名やID、タグ名、属性などを基にした柔軟な要素の取得が実現できます。

特に、複雑なHTML構造を持つページから必要な情報を抽出する際に非常に便利です。

次のセクションでは、select()メソッドの基本的な使い方について詳しく解説します。

select()メソッドの基本的な使い方

BeautifulSoupのselect()メソッドを使うことで、HTMLドキュメントから特定の要素を簡単に取得できます。

以下に、基本的な使い方をいくつかの例を通じて解説します。

クラス名で要素を取得する

クラス名を指定して要素を取得するには、CSSセレクタの形式でクラス名を指定します。

クラス名は.で始まります。

from bs4 import BeautifulSoup
html_doc = '''
<html>
<head><title>サンプルページ</title></head>
<body>
    <div class="content">コンテンツ1</div>
    <div class="content">コンテンツ2</div>
    <div class="footer">フッター</div>
</body>
</html>
'''
soup = BeautifulSoup(html_doc, 'html.parser')
elements = soup.select('.content')
for element in elements:
    print(element.text)

コンテンツ1
コンテンツ2

IDで要素を取得する

IDを指定して要素を取得する場合は、ID名を#で始めて指定します。

from bs4 import BeautifulSoup
html_doc = '''
<html>
<body>
    <div id="main">メインコンテンツ</div>
    <div id="sidebar">サイドバー</div>
</body>
</html>
'''
soup = BeautifulSoup(html_doc, 'html.parser')
element = soup.select('#main')
print(element[0].text)

メインコンテンツ

タグ名で要素を取得する

タグ名を指定して要素を取得するには、タグ名をそのまま指定します。

from bs4 import BeautifulSoup
html_doc = '''
<html>
<body>
    <h1>タイトル</h1>
    <p>これは段落です。</p>
</body>
</html>
'''
soup = BeautifulSoup(html_doc, 'html.parser')
elements = soup.select('p')
for element in elements:
    print(element.text)

これは段落です。

属性で要素を取得する

特定の属性を持つ要素を取得するには、属性名を[属性名="値"]の形式で指定します。

from bs4 import BeautifulSoup
html_doc = '''
<html>
<body>
    <a href="https://example.com" class="link">リンク1</a>
    <a href="https://example.org" class="link">リンク2</a>
</body>
</html>
'''
soup = BeautifulSoup(html_doc, 'html.parser')
elements = soup.select('a[href="https://example.com"]')
print(elements[0].text)

リンク1

複数の条件を組み合わせたセレクタ

複数の条件を組み合わせて要素を取得することも可能です。

例えば、クラス名とタグ名を組み合わせることができます。

from bs4 import BeautifulSoup
html_doc = '''
<html>
<body>
    <div class="content">コンテンツ1</div>
    <div class="content special">特別なコンテンツ</div>
</body>
</html>
'''
soup = BeautifulSoup(html_doc, 'html.parser')
elements = soup.select('div.content.special')
for element in elements:
    print(element.text)

特別なコンテンツ

これらの基本的な使い方を理解することで、select()メソッドを活用して、さまざまな要素を効率的に取得できるようになります。

次のセクションでは、select()メソッドの応用について解説します。

select()メソッドの応用

select()メソッドは、基本的な使い方だけでなく、さまざまな応用が可能です。

以下に、いくつかの応用例を紹介します。

子孫セレクタを使った要素の取得

子孫セレクタを使用すると、特定の親要素内にある子要素を取得できます。

親要素と子要素の間にスペースを入れて指定します。

from bs4 import BeautifulSoup
html_doc = '''
<html>
<body>
    <div class="parent">
        <p>親の段落1</p>
        <p>親の段落2</p>
        <div class="child">
            <p>子の段落1</p>
        </div>
    </div>
</body>
</html>
'''
soup = BeautifulSoup(html_doc, 'html.parser')
elements = soup.select('.parent p')
for element in elements:
    print(element.text)

親の段落1
親の段落2
子の段落1

兄弟セレクタを使った要素の取得

兄弟セレクタを使用すると、特定の要素の直後にある兄弟要素を取得できます。

+を使って直後の兄弟要素を、~を使って同じ親を持つすべての兄弟要素を指定します。

from bs4 import BeautifulSoup
html_doc = '''
<html>
<body>
    <h1>見出し1</h1>
    <p>段落1</p>
    <h1>見出し2</h1>
    <p>段落2</p>
</body>
</html>
'''
soup = BeautifulSoup(html_doc, 'html.parser')
element = soup.select('h1 + p')
print(element[0].text)

段落1

属性値の部分一致で要素を取得する

属性値の部分一致を使うことで、特定の文字列を含む属性値を持つ要素を取得できます。

[属性名*="部分文字列"]の形式で指定します。

from bs4 import BeautifulSoup
html_doc = '''
<html>
<body>
    <a href="https://example.com/page1">リンク1</a>
    <a href="https://example.com/page2">リンク2</a>
    <a href="https://example.org/page3">リンク3</a>
</body>
</html>
'''
soup = BeautifulSoup(html_doc, 'html.parser')
elements = soup.select('a[href*="example.com"]')
for element in elements:
    print(element.text)

リンク1
リンク2

nth-childを使った特定の要素の取得

nth-childセレクタを使用すると、特定の位置にある要素を取得できます。

:nth-child(n)の形式で指定します。

from bs4 import BeautifulSoup
html_doc = '''
<html>
<body>
    <ul>
        <li>アイテム1</li>
        <li>アイテム2</li>
        <li>アイテム3</li>
    </ul>
</body>
</html>
'''
soup = BeautifulSoup(html_doc, 'html.parser')
element = soup.select('li:nth-child(2)')
print(element[0].text)

アイテム2

複数のセレクタを使った要素の取得

複数のセレクタを組み合わせて、異なる条件を持つ要素を同時に取得することも可能です。

カンマで区切って指定します。

from bs4 import BeautifulSoup
html_doc = '''
<html>
<body>
    <div class="content">コンテンツ1</div>
    <div class="footer">フッター</div>
    <p class="content">コンテンツ2</p>
</body>
</html>
'''
soup = BeautifulSoup(html_doc, 'html.parser')
elements = soup.select('.content, .footer')
for element in elements:
    print(element.text)

コンテンツ1
フッター
コンテンツ2

これらの応用を活用することで、select()メソッドを使った要素の取得がさらに柔軟かつ強力になります。

次のセクションでは、select()メソッドの返り値の扱い方について解説します。

select()メソッドの返り値の扱い方

select()メソッドは、指定したセレクタに一致する要素をリストとして返します。

このセクションでは、返り値の扱い方について詳しく解説します。

リストとしての返り値

select()メソッドは、該当する要素をリスト形式で返します。

要素が複数見つかった場合は、そのすべてがリストに含まれます。

from bs4 import BeautifulSoup
html_doc = '''
<html>
<body>
    <div class="item">アイテム1</div>
    <div class="item">アイテム2</div>
    <div class="item">アイテム3</div>
</body>
</html>
'''
soup = BeautifulSoup(html_doc, 'html.parser')
elements = soup.select('.item')
print(f'見つかった要素の数: {len(elements)}')

見つかった要素の数: 3

要素が見つからなかった場合の挙動

指定したセレクタに一致する要素が見つからなかった場合、select()メソッドは空のリストを返します。

from bs4 import BeautifulSoup
html_doc = '''
<html>
<body>
    <div class="item">アイテム1</div>
</body>
</html>
'''
soup = BeautifulSoup(html_doc, 'html.parser')
elements = soup.select('.nonexistent')
print(f'見つかった要素の数: {len(elements)}')

見つかった要素の数: 0

取得した要素のテキストや属性の抽出

取得した要素からテキストや属性を抽出することができます。

リストの各要素に対して、.textや.get('属性名')を使用します。

from bs4 import BeautifulSoup
html_doc = '''
<html>
<body>
    <a href="https://example.com" class="link">リンク1</a>
    <a href="https://example.org" class="link">リンク2</a>
</body>
</html>
'''
soup = BeautifulSoup(html_doc, 'html.parser')
elements = soup.select('.link')
for element in elements:
    print(f'リンクテキスト: {element.text}, URL: {element.get("href")}')

リンクテキスト: リンク1, URL: https://example.com
リンクテキスト: リンク2, URL: https://example.org

取得した要素のループ処理

取得した要素はリストとして扱えるため、ループ処理を使って各要素に対して操作を行うことができます。

from bs4 import BeautifulSoup
html_doc = '''
<html>
<body>
    <ul>
        <li>アイテム1</li>
        <li>アイテム2</li>
        <li>アイテム3</li>
    </ul>
</body>
</html>
'''
soup = BeautifulSoup(html_doc, 'html.parser')
elements = soup.select('li')
for index, element in enumerate(elements):
    print(f'アイテム{index + 1}: {element.text}')

アイテム1: アイテム1
アイテム2: アイテム2
アイテム3: アイテム3

これらの方法を使うことで、select()メソッドの返り値を効果的に扱い、必要な情報を抽出することができます。

次のセクションでは、実践例としてselect()メソッドを使ったWebスクレイピングの具体的な方法について解説します。

実践例：select()メソッドを使ったWebスクレイピング

ここでは、select()メソッドを使ったWebスクレイピングの具体的な実践例をいくつか紹介します。

これらの例を通じて、実際のWebページから情報を抽出する方法を学びましょう。

特定のクラスを持つ記事タイトルを抽出する

特定のクラスを持つ記事タイトルを抽出する例です。

以下のコードでは、仮のHTMLを使用して、クラス名がarticle-titleの要素を取得します。

from bs4 import BeautifulSoup
html_doc = '''
<html>
<body>
    <h2 class="article-title">記事タイトル1</h2>
    <h2 class="article-title">記事タイトル2</h2>
    <h2 class="article-title">記事タイトル3</h2>
</body>
</html>
'''
soup = BeautifulSoup(html_doc, 'html.parser')
titles = soup.select('.article-title')
for title in titles:
    print(title.text)

記事タイトル1
記事タイトル2
記事タイトル3

複数のページからリンクを取得する

複数のページからリンクを取得する例です。

ここでは、仮のHTMLを使用して、<a>タグのhref属性を取得します。

from bs4 import BeautifulSoup
html_doc = '''
<html>
<body>
    <a href="https://example.com/page1">ページ1</a>
    <a href="https://example.com/page2">ページ2</a>
    <a href="https://example.org/page3">ページ3</a>
</body>
</html>
'''
soup = BeautifulSoup(html_doc, 'html.parser')
links = soup.select('a')
for link in links:
    print(f'リンクテキスト: {link.text}, URL: {link.get("href")}')

リンクテキスト: ページ1, URL: https://example.com/page1
リンクテキスト: ページ2, URL: https://example.com/page2
リンクテキスト: ページ3, URL: https://example.org/page3

テーブルデータを抽出してCSVに保存する

テーブルデータを抽出し、CSVファイルに保存する例です。

以下のコードでは、仮のHTMLテーブルからデータを取得し、CSV形式で保存します。

import csv
from bs4 import BeautifulSoup
html_doc = '''
<html>
<body>
    <table>
        <tr>
            <th>名前</th>
            <th>年齢</th>
        </tr>
        <tr>
            <td>田中</td>
            <td>30</td>
        </tr>
        <tr>
            <td>鈴木</td>
            <td>25</td>
        </tr>
    </table>
</body>
</html>
'''
soup = BeautifulSoup(html_doc, 'html.parser')
rows = soup.select('table tr')
with open('data.csv', 'w', newline='', encoding='utf-8') as csvfile:
    writer = csv.writer(csvfile)
    
    for row in rows:
        columns = row.select('td, th')
        writer.writerow([col.text for col in columns])
print('CSVファイルにデータを保存しました。')

CSVファイルにデータを保存しました。

このコードを実行すると、data.csvというファイルが作成され、テーブルデータが保存されます。

これらの実践例を通じて、select()メソッドを使ったWebスクレイピングの基本的な手法を理解できたと思います。

次のセクションでは、よくある質問にお答えします。

まとめ

この記事では、BeautifulSoupのselect()メソッドを使った要素の取得方法やその応用について詳しく解説しました。

基本的な使い方から、子孫セレクタや兄弟セレクタ、属性値の部分一致など、さまざまなテクニックを紹介し、実際のWebスクレイピングの例を通じて具体的な活用方法を示しました。

これを機に、実際のプロジェクトや学習において、BeautifulSoupを活用してWebデータを効率的に取得し、分析することに挑戦してみてください。