selenium

[Python] seleniumで要素を取得できない原因と対処法

2025-01-18更新日: 2025-01-18

Seleniumで要素を取得できない原因として、主に以下が考えられます。

1つ目は、要素がまだ読み込まれていない場合です。

ページの読み込みが完了する前に要素を探すとエラーが発生します。

対処法としては、WebDriverWaitを使って要素が表示されるまで待機することが有効です。

2つ目は、要素がiframe内にある場合です。

この場合、switch_to.frame()でiframeに切り替える必要があります。

その他、要素のXPathやCSSセレクタが間違っている可能性もあります。

目次から探す

Seleniumで要素を取得できない主な原因
ページの読み込みが完了していない場合の対処法
iframe内の要素を取得する方法
要素のセレクタが間違っている場合の対処法
JavaScriptによる動的な要素生成への対応
ページ遷移やリダイレクトが発生している場合の対処法
応用例：Seleniumでの要素取得の工夫
まとめ

Seleniumで要素を取得できない主な原因

Seleniumを使用してWebページの要素を取得する際、さまざまな理由で要素が見つからないことがあります。

以下に、主な原因を挙げます。

ページの読み込みが完了していない

ページが完全に読み込まれる前に要素を取得しようとすると、要素が見つからないことがあります。

特に、Ajaxを使用しているページでは、要素が動的に生成されるため、読み込みが完了するまで待つ必要があります。

要素が非表示または不可視状態

要素がCSSで非表示にされている場合や、画面外にある場合、Seleniumはその要素を取得できません。

例えば、display: none;やvisibility: hidden;が設定されている要素は取得できません。

iframe内の要素を取得しようとしている

Webページがiframeを使用している場合、デフォルトではSeleniumは親フレームのコンテキストで動作します。

iframe内の要素を取得するには、まずそのiframeに切り替える必要があります。

要素のセレクタが間違っている

要素を取得するためのセレクタ(XPathやCSSセレクタ)が間違っていると、要素は見つかりません。

特に、動的に生成される要素の場合、セレクタが変更されることがあります。

JavaScriptによる動的な要素生成

JavaScriptを使用して動的に生成される要素は、ページが最初に読み込まれたときには存在しないため、適切なタイミングで要素を取得する必要があります。

これには、待機処理を使用することが重要です。

ページ遷移やリダイレクトが発生している

ページ遷移やリダイレクトが発生すると、元のページの要素は取得できなくなります。

新しいページに遷移した後、再度要素を取得する必要があります。

要素が存在しない、または削除されている

要素がDOMから削除された場合や、そもそも存在しない場合も、Seleniumはその要素を取得できません。

特に、ユーザーの操作やJavaScriptによって要素が削除されることがあります。

ページの読み込みが完了していない場合の対処法

ページの読み込みが完了していない場合、要素を取得するためには適切な待機処理を行う必要があります。

以下に、いくつかの対処法を紹介します。

WebDriverWaitを使った待機処理

WebDriverWaitを使用すると、特定の条件が満たされるまで待機することができます。

これにより、要素が表示されるまで待つことができ、ページの読み込みが完了するのを待つことができます。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
driver.get("https://example.com")
# 要素が表示されるまで最大10秒待機
element = WebDriverWait(driver, 10).until(
    EC.visibility_of_element_located((By.ID, "element_id"))
)
print(element.text)
driver.quit()

要素のテキスト

time.sleep()を使った簡易的な待機

time.sleep()を使用すると、指定した秒数だけ処理を一時停止することができます。

ただし、この方法はあまり推奨されません。

なぜなら、ページの読み込みが完了する前に待機時間が終了してしまう可能性があるからです。

import time
from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://example.com")
# 5秒間待機
time.sleep(5)
element = driver.find_element(By.ID, "element_id")
print(element.text)
driver.quit()

要素のテキスト

page_load_timeoutでページ全体の読み込みを待つ

page_load_timeoutを設定することで、ページ全体の読み込みが完了するまでの最大待機時間を指定できます。

この時間内にページが読み込まれない場合、TimeoutExceptionが発生します。

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
driver = webdriver.Chrome()
driver.set_page_load_timeout(10)
try:
    driver.get("https://example.com")
except TimeoutException:
    print("ページの読み込みがタイムアウトしました。")
finally:
    driver.quit()

ページの読み込みがタイムアウトしました。

implicitly_waitで暗黙的な待機を設定する

implicitly_waitを使用すると、要素を取得する際に指定した時間だけ待機します。

この設定を行うと、要素が見つかるまで自動的に待機するため、明示的な待機処理を行う必要がなくなります。

from selenium import webdriver
driver = webdriver.Chrome()
driver.implicitly_wait(10)  # 最大10秒待機
driver.get("https://example.com")
element = driver.find_element(By.ID, "element_id")
print(element.text)
driver.quit()

要素のテキスト

これらの方法を適切に使用することで、ページの読み込みが完了するのを待ち、要素を正しく取得することができます。

iframe内の要素を取得する方法

Webページがiframeを使用している場合、Seleniumでその中の要素を取得するには、まずiframeに切り替える必要があります。

以下に、iframe内の要素を取得するための方法を紹介します。

switch_to.frame()でiframeに切り替える

switch_to.frame()メソッドを使用して、指定したiframeに切り替えることができます。

これにより、そのiframe内の要素を操作できるようになります。

from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get("https://example.com")
# iframeに切り替え
driver.switch_to.frame("iframe_id")
# iframe内の要素を取得
element = driver.find_element(By.ID, "element_id")
print(element.text)
# 元のコンテンツに戻る
driver.switch_to.default_content()
driver.quit()

要素のテキスト

switch_to.default_content()で元のコンテンツに戻る

iframe内の操作が終わったら、switch_to.default_content()を使用して元のコンテンツに戻ることが重要です。

これにより、他の要素を操作することができるようになります。

from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get("https://example.com")
# iframeに切り替え
driver.switch_to.frame("iframe_id")
# iframe内の要素を取得
element = driver.find_element(By.ID, "element_id")
print(element.text)
# 元のコンテンツに戻る
driver.switch_to.default_content()
# 元のページの要素を取得
original_element = driver.find_element(By.ID, "original_element_id")
print(original_element.text)
driver.quit()

要素のテキスト
元のページの要素のテキスト

iframeのIDや名前を使った切り替え

iframeに切り替える際、IDや名前を指定することができます。

これにより、特定のiframeに直接アクセスすることが可能です。

from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get("https://example.com")
# IDを使ってiframeに切り替え
driver.switch_to.frame("iframe_id")
# iframe内の要素を取得
element = driver.find_element(By.NAME, "element_name")
print(element.text)
driver.switch_to.default_content()
driver.quit()

要素のテキスト

iframeのインデックスを使った切り替え

複数のiframeが存在する場合、インデックスを指定して切り替えることもできます。

インデックスは0から始まるため、最初のiframeは0、次は1というように指定します。

from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get("https://example.com")
# インデックスを使って最初のiframeに切り替え
driver.switch_to.frame(0)
# iframe内の要素を取得
element = driver.find_element(By.XPATH, "//div[@class='element_class']")
print(element.text)
driver.switch_to.default_content()
driver.quit()

要素のテキスト

これらの方法を使用することで、iframe内の要素を正しく取得し、操作することができます。

要素のセレクタが間違っている場合の対処法

要素を取得する際に、セレクタが間違っていると要素が見つからないことがあります。

以下に、正しいセレクタの書き方や確認方法を紹介します。

正しいXPathの書き方

XPathはXML文書の要素を指定するための言語で、HTML文書にも使用できます。

XPathを正しく書くための基本的なルールを以下に示します。

要素を指定する基本形: //tagname
属性を指定する: //tagname[@attribute='value']
特定の位置を指定する: (//tagname)[1](最初の要素を取得)

from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get("https://example.com")
# 正しいXPathを使用して要素を取得
element = driver.find_element(By.XPATH, "//div[@class='example_class']")
print(element.text)
driver.quit()

要素のテキスト

CSSセレクタの基本と応用

CSSセレクタは、HTML要素をスタイル付けするために使用されるもので、Seleniumでも利用できます。

基本的な書き方は以下の通りです。

要素名: div
クラス名: .class_name
ID: #id_name
属性: [attribute='value']

from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get("https://example.com")
# CSSセレクタを使用して要素を取得
element = driver.find_element(By.CSS_SELECTOR, ".example_class")
print(element.text)
driver.quit()

要素のテキスト

find_elementとfind_elementsの違い

find_elementとfind_elementsは、要素を取得するためのメソッドですが、以下のように異なります。

メソッド名	説明
`find_element`	最初に見つかった要素を1つだけ取得する。見つからない場合は`NoSuchElementException`を発生させる。
`find_elements`	条件に合うすべての要素をリストで取得する。見つからない場合は空のリストを返す。

from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get("https://example.com")
# find_elementを使用
single_element = driver.find_element(By.ID, "single_element_id")
print(single_element.text)
# find_elementsを使用
multiple_elements = driver.find_elements(By.CLASS_NAME, "multiple_elements_class")
for element in multiple_elements:
    print(element.text)
driver.quit()

単一要素のテキスト
要素1のテキスト
要素2のテキスト

ブラウザの開発者ツールを使ったセレクタの確認方法

ブラウザの開発者ツールを使用すると、要素のセレクタを簡単に確認できます。

以下の手順で確認できます。

対象のWebページを開く。
右クリックして「検証」を選択する。
開発者ツールが表示されるので、要素を選択する。
選択した要素のHTMLが表示されるので、そこからXPathやCSSセレクタを確認する。

この方法を使うことで、正確なセレクタを見つけることができ、要素を正しく取得することができます。

JavaScriptによる動的な要素生成への対応

WebページがJavaScriptを使用して動的に要素を生成する場合、Seleniumで要素を取得するためには適切な待機処理や手法を用いる必要があります。

以下に、いくつかの対応方法を紹介します。

WebDriverWaitで要素が表示されるまで待機

WebDriverWaitを使用することで、特定の条件が満たされるまで待機することができます。

これにより、動的に生成される要素が表示されるのを待つことができます。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
driver.get("https://example.com")
# 要素が表示されるまで最大10秒待機
element = WebDriverWait(driver, 10).until(
    EC.visibility_of_element_located((By.ID, "dynamic_element_id"))
)
print(element.text)
driver.quit()

動的要素のテキスト

expected_conditionsを使った条件付き待機

expected_conditionsを使用すると、特定の条件に基づいて待機することができます。

例えば、要素がクリック可能になるまで待つことができます。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
driver.get("https://example.com")
# 要素がクリック可能になるまで待機
element = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.ID, "dynamic_button_id"))
)
element.click()
driver.quit()

(クリック後の処理)

execute_script()でJavaScriptを直接実行して要素を取得

Seleniumのexecute_script()メソッドを使用すると、JavaScriptを直接実行して要素を取得することができます。

これにより、動的に生成された要素を取得することが可能です。

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://example.com")
# JavaScriptを実行して要素を取得
element = driver.execute_script("return document.getElementById('dynamic_element_id');")
print(element.text)
driver.quit()

動的要素のテキスト

MutationObserverを使った動的要素の監視

MutationObserverを使用すると、DOMの変更を監視することができます。

これにより、動的に生成される要素をリアルタイムで検出することが可能です。

ただし、これはSeleniumの外部でJavaScriptを実行する必要があります。

// JavaScriptコード
const targetNode = document.getElementById('target_element_id');
const config = { childList: true, subtree: true };
const callback = function(mutationsList, observer) {
    for (let mutation of mutationsList) {
        if (mutation.type === 'childList') {
            console.log('新しい要素が追加されました。');
        }
    }
};
const observer = new MutationObserver(callback);
observer.observe(targetNode, config);

このコードをWebページに追加することで、指定した要素に新しい子要素が追加されるたびに通知を受け取ることができます。

Seleniumと組み合わせて使用することで、動的な要素の生成を効率的に監視できます。

これらの方法を使用することで、JavaScriptによって動的に生成される要素に対しても、適切に対応し、要素を取得することができます。

ページ遷移やリダイレクトが発生している場合の対処法

Webページが遷移したりリダイレクトが発生したりすると、Seleniumで要素を取得する際に注意が必要です。

以下に、ページ遷移やリダイレクトに対する対処法を紹介します。

ページ遷移後のURLを確認する

ページ遷移が発生した場合、現在のURLを確認することで、正しいページに遷移したかどうかを判断できます。

これにより、要素を取得する前に適切なページにいることを確認できます。

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://example.com")
# ページ遷移をトリガーするアクション
driver.find_element(By.ID, "link_id").click()
# 現在のURLを確認
current_url = driver.current_url
print("現在のURL:", current_url)
driver.quit()

現在のURL: https://example.com/next_page

wait_for_page_load()でページ遷移を待つ

Seleniumにはwait_for_page_load()というメソッドは存在しませんが、WebDriverWaitを使用してページの読み込みを待つことができます。

これにより、ページ遷移が完了するのを待つことができます。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
driver.get("https://example.com")
# ページ遷移をトリガーするアクション
driver.find_element(By.ID, "link_id").click()
# ページが読み込まれるまで待機
WebDriverWait(driver, 10).until(EC.url_changes("https://example.com"))
print("ページ遷移が完了しました。")
driver.quit()

ページ遷移が完了しました。

リダイレクト後の要素を再取得する

リダイレクトが発生した場合、元のページの要素は取得できなくなります。

リダイレクト後に新しいページの要素を再取得する必要があります。

from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get("https://example.com")
# リダイレクトをトリガーするアクション
driver.find_element(By.ID, "redirect_button_id").click()
# リダイレクト後の要素を再取得
element = driver.find_element(By.ID, "new_element_id")
print(element.text)
driver.quit()

リダイレクト後の要素のテキスト

window_handlesを使ったウィンドウの切り替え

新しいウィンドウやタブが開かれた場合、window_handlesを使用してウィンドウを切り替えることができます。

これにより、異なるウィンドウやタブで要素を操作することが可能です。

from selenium import webdriver
from selenium.webdriver.common.by import By
import time
driver = webdriver.Chrome()
driver.get("https://example.com")
# 新しいウィンドウを開くアクション
driver.find_element(By.ID, "open_new_window_button").click()
# ウィンドウのハンドルを取得
original_window = driver.current_window_handle
new_window = [window for window in driver.window_handles if window != original_window][0]
# 新しいウィンドウに切り替え
driver.switch_to.window(new_window)
# 新しいウィンドウ内の要素を取得
element = driver.find_element(By.ID, "element_in_new_window_id")
print(element.text)
# 元のウィンドウに戻る
driver.close()  # 新しいウィンドウを閉じる
driver.switch_to.window(original_window)
driver.quit()

新しいウィンドウ内の要素のテキスト

これらの方法を使用することで、ページ遷移やリダイレクトが発生した場合でも、適切に要素を取得し、操作することができます。

応用例：Seleniumでの要素取得の工夫

Seleniumを使用して要素を取得する際には、さまざまな工夫をすることで、より効率的に操作を行うことができます。

以下に、いくつかの応用例を紹介します。

複数の要素を一度に取得する方法

find_elementsメソッドを使用すると、条件に合うすべての要素をリストとして取得できます。

これにより、複数の要素を一度に操作することが可能です。

from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get("https://example.com")
# 複数の要素を取得
elements = driver.find_elements(By.CLASS_NAME, "example_class")
for element in elements:
    print(element.text)
driver.quit()

要素1のテキスト
要素2のテキスト
...

要素が存在しない場合のエラーハンドリング

要素が存在しない場合にエラーが発生するのを防ぐために、try-exceptブロックを使用してエラーハンドリングを行うことができます。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.common.exceptions import NoSuchElementException
driver = webdriver.Chrome()
driver.get("https://example.com")
try:
    element = driver.find_element(By.ID, "non_existent_id")
    print(element.text)
except NoSuchElementException:
    print("要素が見つかりませんでした。")
driver.quit()

要素が見つかりませんでした。

スクロールが必要な要素の取得方法

ページが長い場合、要素が画面外にあることがあります。

この場合、JavaScriptを使用してスクロールすることで、要素を表示させることができます。

from selenium import webdriver
from selenium.webdriver.common.by import By
import time
driver = webdriver.Chrome()
driver.get("https://example.com")
# スクロールして要素を表示させる
driver.execute_script("window.scrollTo(0, 1000);")
time.sleep(2)  # スクロール後の待機
element = driver.find_element(By.ID, "scroll_element_id")
print(element.text)
driver.quit()

スクロール後の要素のテキスト

ポップアップやモーダルウィンドウ内の要素取得

ポップアップやモーダルウィンドウ内の要素を取得するには、まずそのウィンドウに切り替える必要があります。

通常、モーダルウィンドウは親ウィンドウの一部として表示されるため、特定のセレクタを使用して要素を取得します。

from selenium import webdriver
from selenium.webdriver.common.by import By
import time
driver = webdriver.Chrome()
driver.get("https://example.com")
# ポップアップを開くアクション
driver.find_element(By.ID, "open_popup_button").click()
time.sleep(2)  # ポップアップが表示されるのを待つ
# ポップアップ内の要素を取得
popup_element = driver.find_element(By.CLASS_NAME, "popup_element_class")
print(popup_element.text)
driver.quit()

ポップアップ内の要素のテキスト

動的に変わるIDやクラス名への対応

動的に生成されるIDやクラス名を持つ要素を取得する場合、部分一致を使用したXPathやCSSセレクタを利用することが効果的です。

from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get("https://example.com")
# 動的に変わるIDを部分一致で取得
element = driver.find_element(By.XPATH, "//*[contains(@id, 'dynamic_part')]")
print(element.text)
driver.quit()