selenium

[Python] seleniumで座標を指定してクリックする方法

2025-01-18更新日: 2025-01-18

Seleniumで座標を指定してクリックするには、通常の要素操作ではなく、ActionChainsを使用してマウス操作をシミュレートします。

具体的には、move_by_offset(x, y)メソッドを使って、指定した座標にマウスを移動させ、その後click()でクリックを実行します。

座標はブラウザウィンドウの左上を基準にして指定します。

なお、座標指定は画面の解像度やウィンドウサイズに依存するため、動作が不安定になる可能性があります。

目次から探す

座標を指定してクリックする基本的な方法
座標クリックの実用例
座標クリックの注意点
応用例：座標クリックを使った自動化シナリオ
まとめ

座標を指定してクリックする基本的な方法

ウェブ自動化において、特定の座標を指定してクリックすることは非常に重要です。

ここでは、PythonのSeleniumライブラリを使用して、座標を指定してクリックする基本的な方法を解説します。

ActionChainsを使った座標クリックの基本

Seleniumでは、ActionChainsクラスを使用して、マウスの操作をシミュレートすることができます。

これにより、特定の座標を指定してクリックすることが可能です。

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
# ブラウザを起動
driver = webdriver.Chrome()
driver.get('https://example.com')
# ActionChainsを使用して座標を指定してクリック
actions = ActionChains(driver)
actions.move_by_offset(100, 200).click().perform()

このコードでは、ブラウザを起動し、指定した座標(100, 200)をクリックします。

move_by_offset()メソッドの使い方

move_by_offset(x, y)メソッドは、現在のマウスの位置から指定したオフセット分だけ移動します。

これを使って、特定の座標にマウスを移動させることができます。

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
driver = webdriver.Chrome()
driver.get('https://example.com')
# 現在のマウス位置から(50, 100)だけ移動
actions = ActionChains(driver)
actions.move_by_offset(50, 100).perform()

このコードを実行すると、現在のマウス位置から50ピクセル右、100ピクセル下に移動します。

click()メソッドの使い方

click()メソッドは、現在のマウスの位置でクリックを実行します。

これをmove_by_offset()メソッドと組み合わせることで、特定の座標をクリックすることができます。

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
driver = webdriver.Chrome()
driver.get('https://example.com')
# 指定した座標をクリック
actions = ActionChains(driver)
actions.move_by_offset(100, 200).click().perform()

このコードでは、(100, 200)の座標をクリックします。

座標の基準点(ウィンドウ左上)について

座標指定の基準点は、ウィンドウの左上隅です。

つまり、(0, 0)はウィンドウの左上隅を指し、右に行くほどx座標が増え、下に行くほどy座標が増えます。

このことを理解しておくと、正確に座標を指定することができます。

座標	説明
(0, 0)	ウィンドウの左上隅
(x, 0)	ウィンドウの上辺
(0, y)	ウィンドウの左辺
(x, y)	指定した座標

座標クリックの実用例

座標を指定してクリックする技術は、特定の要素が存在しない場合や、動的に変わる要素に対して非常に有効です。

ここでは、いくつかの実用例を紹介します。

特定の要素がない場所をクリックする

特定の要素が存在しない場合でも、座標を指定してクリックすることができます。

例えば、ページの特定の位置にあるボタンをクリックする場合などです。

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
driver = webdriver.Chrome()
driver.get('https://example.com')
# 特定の座標(300, 400)をクリック
actions = ActionChains(driver)
actions.move_by_offset(300, 400).click().perform()

このコードでは、(300, 400)の座標をクリックします。

特定の要素がない場合でも、座標を指定することで操作が可能です。

動的に変わる要素のクリック

動的に変わる要素に対しては、座標を指定してクリックすることで、要素が表示される位置を正確に捉えることができます。

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
import time
driver = webdriver.Chrome()
driver.get('https://example.com')
# 動的に生成される要素が表示されるまで待機
time.sleep(5)  # 5秒待機
# 動的に変わる要素の座標をクリック
actions = ActionChains(driver)
actions.move_by_offset(150, 250).click().perform()

このコードでは、5秒待機した後に、動的に生成された要素の位置をクリックします。

座標を計算してクリックする方法

特定の要素の位置を計算して、その座標をクリックすることも可能です。

要素のサイズや位置を考慮して、クリックする座標を計算します。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.action_chains import ActionChains
driver = webdriver.Chrome()
driver.get('https://example.com')
# 要素の位置を取得
element = driver.find_element(By.ID, 'target-element')
location = element.location
size = element.size
# 要素の中心を計算
center_x = location['x'] + size['width'] / 2
center_y = location['y'] + size['height'] / 2
# 計算した座標をクリック
actions = ActionChains(driver)
actions.move_by_offset(center_x, center_y).click().perform()

このコードでは、指定した要素の中心を計算し、その位置をクリックします。

ウィンドウサイズやスクロール位置に依存しないクリック方法

ウィンドウサイズやスクロール位置に依存せずにクリックするためには、要素の位置を取得してからクリックする方法が有効です。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.action_chains import ActionChains
driver = webdriver.Chrome()
driver.get('https://example.com')
# 要素の位置を取得
element = driver.find_element(By.ID, 'target-element')
location = element.location
# 要素の位置をクリック
actions = ActionChains(driver)
actions.move_by_offset(location['x'], location['y']).click().perform()

このコードでは、要素の位置を取得し、その位置をクリックします。

これにより、ウィンドウサイズやスクロール位置に依存せずに操作が可能です。

座標クリックの注意点

座標を指定してクリックする際には、いくつかの注意点があります。

これらを理解しておくことで、より正確で安定した自動化が可能になります。

座標指定の精度とブラウザ依存性

座標指定は、ブラウザやデバイスによって異なる動作をすることがあります。

特に、異なるブラウザ間での動作の違いに注意が必要です。

以下の点に留意してください。

要素	説明
ブラウザの違い	Chrome、Firefox、Edgeなどで動作が異なる場合がある
解像度の違い	デバイスの解像度によって座標が変わることがある
ズーム設定	ブラウザのズーム設定が影響を与えることがある

これらの要因により、同じコードでも異なる結果を生む可能性があります。

ウィンドウサイズや解像度の影響

ウィンドウサイズや解像度は、座標指定に大きな影響を与えます。

特に、レスポンシブデザインのウェブサイトでは、ウィンドウサイズによって要素の位置が変わることがあります。

ウィンドウサイズの変更: ウィンドウをリサイズすると、要素の位置が変わることがあります。
解像度の違い: 高解像度のディスプレイでは、同じ座標でも異なる位置を指すことがあります。

これらの影響を考慮し、座標を指定する際には、要素の位置を動的に取得する方法を検討することが重要です。

スクロールが必要な場合の対処法

要素が画面外にある場合、スクロールが必要です。

スクロールを行うには、以下の方法があります。

from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get('https://example.com')
# 要素を見つけてスクロール
element = driver.find_element(By.ID, 'target-element')
driver.execute_script("arguments[0].scrollIntoView();", element)

このコードでは、指定した要素が画面に表示されるようにスクロールします。

スクロール後に座標を指定してクリックすることで、確実に操作が可能になります。

要素が動的に変わる場合の対策

動的に変わる要素に対しては、座標を固定するのではなく、要素の位置をリアルタイムで取得することが重要です。

以下の方法で対策できます。

要素の位置を取得: 要素が表示されるたびに、その位置を取得してクリックします。
待機処理を追加: 要素が表示されるまで待機する処理を追加します。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
driver.get('https://example.com')
# 要素が表示されるまで待機
element = WebDriverWait(driver, 10).until(
    EC.visibility_of_element_located((By.ID, 'dynamic-element'))
)
# 要素の位置を取得してクリック
location = element.location
actions = ActionChains(driver)
actions.move_by_offset(location['x'], location['y']).click().perform()

このコードでは、動的に変わる要素が表示されるまで待機し、その位置を取得してクリックします。

これにより、動的な要素に対しても確実に操作が可能になります。

応用例：座標クリックを使った自動化シナリオ

座標クリックは、さまざまな自動化シナリオで活用できます。

ここでは、いくつかの応用例を紹介します。

座標クリックを使ったゲームの自動操作

ゲームの自動操作では、特定の座標をクリックすることで、キャラクターの移動やアクションを実行できます。

以下は、簡単なゲームの自動操作の例です。

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
import time
driver = webdriver.Chrome()
driver.get('https://example-game.com')
# ゲームが始まるまで待機
time.sleep(5)
# 特定の座標をクリックしてアクションを実行
actions = ActionChains(driver)
actions.move_by_offset(400, 300).click().perform()  # 例: キャラクターを移動

このコードでは、ゲームが始まった後に特定の座標をクリックしてキャラクターを移動させます。

座標クリックを使った画像認識との連携

画像認識と組み合わせることで、特定の画像が表示された位置をクリックすることができます。

以下は、OpenCVを使用した例です。

import cv2
import numpy as np
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
# 画像を読み込む
template = cv2.imread('target_image.png')
# スクリーンショットを取得
driver = webdriver.Chrome()
driver.get('https://example.com')
screenshot = driver.get_screenshot_as_png()
screenshot = cv2.imdecode(np.frombuffer(screenshot, np.uint8), cv2.IMREAD_COLOR)
# 画像認識を行う
result = cv2.matchTemplate(screenshot, template, cv2.TM_CCOEFF_NORMED)
threshold = 0.8
yloc, xloc = np.where(result >= threshold)
# 座標をクリック
actions = ActionChains(driver)
for (x, y) in zip(xloc, yloc):
    actions.move_by_offset(x + template.shape[1] // 2, y + template.shape[0] // 2).click().perform()

このコードでは、指定した画像が画面に表示された位置を認識し、その位置をクリックします。

複数の座標を順番にクリックする方法

複数の座標を順番にクリックする場合、ActionChainsを使用して一連のアクションを定義できます。

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
driver = webdriver.Chrome()
driver.get('https://example.com')
# 複数の座標を順番にクリック
actions = ActionChains(driver)
coordinates = [(100, 200), (150, 250), (200, 300)]
for (x, y) in coordinates:
    actions.move_by_offset(x, y).click()
actions.perform()

このコードでは、指定した複数の座標を順番にクリックします。

座標クリックとキーボード操作の組み合わせ

座標クリックとキーボード操作を組み合わせることで、より複雑な操作が可能になります。

以下は、クリック後にキーボード操作を行う例です。

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys
driver = webdriver.Chrome()
driver.get('https://example.com')
# 特定の座標をクリック
actions = ActionChains(driver)
actions.move_by_offset(300, 400).click().perform()
# キーボード操作を実行
actions.send_keys(Keys.ENTER).perform()

このコードでは、特定の座標をクリックした後にEnterキーを押します。

座標クリックを使ったスクリーンショットの取得

座標を指定してクリックした後、スクリーンショットを取得することもできます。

これにより、特定の操作の結果を記録できます。

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
driver = webdriver.Chrome()
driver.get('https://example.com')
# 特定の座標をクリック
actions = ActionChains(driver)
actions.move_by_offset(200, 300).click().perform()
# スクリーンショットを取得
driver.save_screenshot('screenshot.png')