在使用selenium爬取的时候用xpath定位元素,最常见的报错就是这个,通常要么是xpath写错了,要么就是元素还没加载出来。
如果是前者可以用谷歌浏览器的xpath helper插件检查xpath是否正确,后者可以增加等待时间或使用以下语句等到元素可见再执行后续操作:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC

wait = WebDriverWait(driver, 100, 0.5)
element = wait.until(EC.visibility_of_element_located((By.XPATH, 'your_xpath')))

这次我遇到的问题是,在网页中复制的xpath粘贴到xpath helper中却显示为空,相应的代码中也抛出异常找不到xpath对应的元素。
经过一番研究,发现是我找的元素被包含在iframe中,而不是主HTML源码中。需要添加以下代码先将driver切换到相应的iframe中,然后再进行元素的定位和数据的抓取。

driver.switch_to.frame("iframeId") 

成功解决。

GitHub 加速计划 / eleme / element
10
1
下载
A Vue.js 2.0 UI Toolkit for Web
最近提交(Master分支:5 个月前 )
c345bb45 9 个月前
a07f3a59 * Update transition.md * Update table.md * Update transition.md * Update table.md * Update transition.md * Update table.md * Update table.md * Update transition.md * Update popover.md 9 个月前
Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐