Web

[Python] BeautifulSoupで現在のページのURLを取得する方法

2025-01-18更新日: 2025-01-18

BeautifulSoup自体には、現在のページのURLを直接取得する機能はありません。

BeautifulSoupはHTMLやXMLの解析を行うためのライブラリであり、URLの管理は行いません。

ページのURLを取得するには、通常はリクエストを送信する際に使用するライブラリ(例：requests)でURLを取得し、その後にBeautifulSoupで解析を行います。

例えば、requests.get(url)で取得したレスポンスオブジェクトのurl属性を使ってURLを確認できます。

目次から探す

BeautifulSoupで解析する前にURLを取得する方法
応用例：リダイレクトされたページのURLを取得する
応用例：複数ページのURLを取得して解析する
応用例：動的に生成されたページのURLを取得する
まとめ

BeautifulSoupで解析する前にURLを取得する方法

Webスクレイピングを行う際、まずは対象のページのURLを取得する必要があります。

ここでは、Pythonのrequestsライブラリを使用してURLを取得し、その後BeautifulSoupで解析する方法について解説します。

requestsでURLを取得してからBeautifulSoupで解析する流れ

まず、requestsライブラリを使って指定したURLからHTMLコンテンツを取得し、その後BeautifulSoupを使って解析します。

以下はその流れを示すサンプルコードです。

import requests
from bs4 import BeautifulSoup
# 取得したいURL
url = "https://example.com"
# requestsを使ってURLからHTMLを取得
response = requests.get(url)
# BeautifulSoupでHTMLを解析
soup = BeautifulSoup(response.text, 'html.parser')
# 解析した内容を表示
print(soup.prettify())

このコードを実行すると、指定したURLのHTML構造が整形されて表示されます。

<!DOCTYPE html>
<html>
 <head>
  <title>Example Domain</title>
 </head>
 <body>
  <h1>Example Domain</h1>
  <p>This domain is for use in illustrative examples in documents.</p>
 </body>
</html>

取得したURLを確認する方法

取得したURLが正しいかどうかを確認するためには、responseオブジェクトのurl属性を使用します。

以下のコードで確認できます。

# 取得したURLを表示
print("取得したURL:", response.url)

このコードを実行すると、実際に取得したURLが表示されます。

取得したURL: https://example.com

URLを取得する際の注意点

URLを取得する際には、以下の点に注意が必要です。

注意点	説明
リダイレクトの確認	取得したURLがリダイレクトされる場合があるため、最終的なURLを確認する必要がある。
User-Agentの設定	一部のサイトでは、特定のUser-Agentを要求する場合があるため、必要に応じて設定する。
アクセス制限	サイトによっては、スクレイピングを制限している場合があるため、利用規約を確認する。

これらの注意点を考慮しながら、Webスクレイピングを行うことが重要です。

応用例：リダイレクトされたページのURLを取得する

Webスクレイピングを行う際、リダイレクトが発生することがあります。

リダイレクトとは、あるURLにアクセスした際に、別のURLに自動的に転送されることを指します。

このセクションでは、リダイレクトされたページのURLを取得し、解析する方法について解説します。

リダイレクトとは

リダイレクトは、HTTPプロトコルの一部であり、クライアントが特定のリソースにアクセスしようとしたときに、サーバーが別のリソースのURLを指示する仕組みです。

リダイレクトには主に以下の種類があります。

リダイレクトの種類	説明
301 Moved Permanently	永久的なリダイレクト。URLが変更されたことを示す。
302 Found	一時的なリダイレクト。URLが一時的に変更されたことを示す。
307 Temporary Redirect	一時的なリダイレクト。`HTTPメソッド`を保持する。

requestsでリダイレクト後のURLを取得する方法

requestsライブラリを使用すると、リダイレクト後の最終的なURLを簡単に取得できます。

以下のサンプルコードでは、リダイレクトを含むURLにアクセスし、最終的なURLを表示します。

import requests
# リダイレクトが発生するURL
url = "http://example.com/redirect"
# requestsを使ってURLからHTMLを取得
response = requests.get(url)
# リダイレクト後のURLを表示
print("リダイレクト後のURL:", response.url)

このコードを実行すると、リダイレクト後の最終的なURLが表示されます。

リダイレクト後のURL: http://example.com/final-destination

BeautifulSoupでリダイレクト後のページを解析する方法

リダイレクト後のURLを取得したら、次にそのページをBeautifulSoupで解析します。

以下のサンプルコードでは、リダイレクト後のページのHTMLを取得し、解析する方法を示します。

from bs4 import BeautifulSoup
# リダイレクト後のURLを使用
final_url = response.url
# リダイレクト後のページを取得
final_response = requests.get(final_url)
# BeautifulSoupでHTMLを解析
soup = BeautifulSoup(final_response.text, 'html.parser')
# 解析した内容を表示
print(soup.prettify())

このコードを実行すると、リダイレクト後のページのHTML構造が整形されて表示されます。

<!DOCTYPE html>
<html>
 <head>
  <title>Final Destination</title>
 </head>
 <body>
  <h1>Welcome to the Final Destination</h1>
  <p>This is the content of the redirected page.</p>
 </body>
</html>

リダイレクトを考慮することで、正確に目的のページを取得し、解析することが可能になります。

応用例：複数ページのURLを取得して解析する

Webスクレイピングを行う際、特に情報が複数ページにわたっている場合、ページネーションを考慮する必要があります。

このセクションでは、ページネーションの概念を理解し、複数ページのURLを取得して解析する方法について解説します。

ページネーションの概念

ページネーションとは、情報を複数のページに分割して表示する手法です。

これにより、ユーザーは大量のデータを効率的に閲覧できます。

一般的に、ページネーションは次のような形式で実装されます。

ページネーションの形式	説明
数字によるページリンク	各ページに番号が付けられ、ユーザーが直接ページを選択できる。
「次へ」リンク	次のページに進むためのリンクが用意されている。
無限スクロール	スクロールすることで自動的に次のデータが読み込まれる。

複数ページのURLを取得する方法

複数ページのURLを取得するためには、ページネーションのリンクを解析する必要があります。

以下のサンプルコードでは、最初のページから次のページのURLを取得する方法を示します。

import requests
from bs4 import BeautifulSoup
# 最初のページのURL
base_url = "https://example.com/articles?page="
# 取得したいページ数
num_pages = 5
# 各ページのURLを格納するリスト
urls = []
# 各ページのURLを生成
for page in range(1, num_pages + 1):
    urls.append(base_url + str(page))
# 生成したURLを表示
for url in urls:
    print(url)

このコードを実行すると、指定したページ数分のURLが生成されます。

https://example.com/articles?page=1
https://example.com/articles?page=2
https://example.com/articles?page=3
https://example.com/articles?page=4
https://example.com/articles?page=5

BeautifulSoupで複数ページを解析する方法

生成した複数のURLを使用して、それぞれのページをBeautifulSoupで解析します。

以下のサンプルコードでは、各ページのタイトルを取得する方法を示します。

# 各ページを解析
for url in urls:
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # タイトルを取得して表示
    title = soup.title.string
    print("ページタイトル:", title)

このコードを実行すると、各ページのタイトルが表示されます。

ページタイトル: Articles - Page 1
ページタイトル: Articles - Page 2
ページタイトル: Articles - Page 3
ページタイトル: Articles - Page 4
ページタイトル: Articles - Page 5

このように、ページネーションを考慮することで、複数ページにわたる情報を効率的に取得し、解析することが可能になります。

応用例：動的に生成されたページのURLを取得する

近年、多くのウェブサイトがJavaScriptを使用してコンテンツを動的に生成しています。

このため、従来の方法では情報を取得できない場合があります。

このセクションでは、動的に生成されたページのURLを取得する方法について解説します。

JavaScriptで生成されたページの問題点

JavaScriptで生成されたページは、HTMLがクライアントサイドで動的に生成されるため、通常のHTTPリクエストでは完全なHTMLを取得できないことがあります。

これにより、以下のような問題が発生します。

問題点	説明
コンテンツが取得できない	JavaScriptによって後から追加されるコンテンツは、初回のリクエストでは取得できない。
スクレイピングが困難	通常のライブラリ(requestsなど)では、JavaScriptの実行結果を取得できない。
ページ遷移が反映されない	リンクをクリックしても、JavaScriptによる遷移が反映されない場合がある。

Seleniumを使った動的ページのURL取得

動的に生成されたページの情報を取得するためには、Seleniumを使用するのが効果的です。

Seleniumはブラウザを自動操作するためのライブラリで、JavaScriptを実行した後のページを取得できます。

以下のサンプルコードでは、Seleniumを使って動的ページのURLを取得する方法を示します。

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
# Chromeドライバーのセットアップ
service = Service(ChromeDriverManager().install())
driver = webdriver.Chrome(service=service)
# 動的に生成されたページのURL
url = "https://example.com/dynamic-page"
# URLにアクセス
driver.get(url)
# ページのタイトルを表示
print("ページタイトル:", driver.title)
# 現在のURLを表示
print("現在のURL:", driver.current_url)
# ブラウザを閉じる
driver.quit()

このコードを実行すると、指定した動的ページのタイトルと現在のURLが表示されます。

ページタイトル: Dynamic Page
現在のURL: https://example.com/dynamic-page

BeautifulSoupとSeleniumの連携

Seleniumを使用して動的ページの情報を取得した後、BeautifulSoupを使ってその内容を解析することができます。

以下のサンプルコードでは、Seleniumで取得したHTMLをBeautifulSoupで解析する方法を示します。

from bs4 import BeautifulSoup
# Seleniumで取得したページのHTMLを取得
html = driver.page_source
# BeautifulSoupでHTMLを解析
soup = BeautifulSoup(html, 'html.parser')
# 解析した内容を表示
print(soup.prettify())
# 必要な情報を取得(例：特定の要素を取得)
element = soup.find('h1')  # h1タグを取得
print("h1の内容:", element.text)

このコードを実行すると、動的ページのHTML構造が整形されて表示され、特定の要素(この場合はh1タグ)の内容が表示されます。

<!DOCTYPE html>
<html>
 <head>
  <title>Dynamic Page</title>
 </head>
 <body>
  <h1>Welcome to the Dynamic Page</h1>
 </body>
</html>
h1の内容: Welcome to the Dynamic Page

このように、SeleniumとBeautifulSoupを組み合わせることで、動的に生成されたページの情報を効率的に取得し、解析することが可能になります。