js抓取网页内容(请求超时webdriver类中有三个和时间相关的方法：超时时间 )

　　js抓取网页内容(请求超时webdriver类中有三个和时间相关的方法：超时时间

)

　　前言

　　本文文字及图片来源于网络，仅供学习交流，不具有任何商业用途。如有任何问题，请及时联系我们进行处理。

　　PS：如需Python学习资料，可点击下方链接自行获取

　　Python免费学习资料及*敏*感*词*流答案点击加入

　　一般我们使用python的第三方库requests和framework scrapy来爬取在线资源，但是javascript渲染的页面是爬不来的。这时候我们使用网页自动化测试工具 Selenium + 无界面浏览器 PhantomJS 来爬取 javascript 渲染的页面，下面实现一个简单的爬取

　　####环境设置

　　我的电脑已经安装了python3.5

　　安装硒

　　pip3 install selenium

　　使用 selenium+phantomjs 的简单爬虫

　　from selenium import webdriver

'''

遇到不懂的问题？Python学习交流群：1136201545

满足你的需求，资料都已经上传群文件，可以自行下载！

'''

driver = webdriver.PhantomJS()

driver.get('http://www.baidu.com') #加载网页

data = driver.page_source #获取网页文本

driver.save_screenshot('1.png') #截图保存

print(data)

driver.quit()

　　selenium+phantomjs的一些使用方法

　　在请求头中设置 user-Agent

　　from selenium import webdriver

from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

'''

遇到不懂的问题？Python学习交流群：1136201545

满足你的需求，资料都已经上传群文件，可以自行下载！

'''

dcap = dict(DesiredCapabilities.PHANTOMJS) #设置useragent

dcap['phantomjs.page.settings.userAgent'] = ('Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:25.0) Gecko/20100101 Firefox/25.0 ') #根据需要设置具体的浏览器信息

driver = webdriver.PhantomJS(desired_capabilities=dcap) #封装浏览器信息

driver.get('http://www.baidu.com') #加载网页

data = driver.page_source #获取网页文本

driver.save_screenshot('1.png') #截图保存

print(data)

driver.quit()

　　####请求超时设置

　　webdriver类中有三个与时间相关的方法：

　　1.pageLoadTimeout 设置整页加载的超时时间。完全加载意味着完全渲染，同步和异步脚本都被执行。

　　2.setScriptTimeout 设置异步脚本的超时时间

　　3.implicitlyWait 智能等待时间识别对象

　　from selenium import webdriver

driver = webdriver.PhantomJS()

driver.set_page_load_timeout(5) #设置超时时间

driver.get('http://www.baidu.com')

print(driver.title)

driver.quit()

　　设置浏览器窗口大小

　　调用启动的浏览器不是全屏的，有时候会影响我们的一些操作，所以我们可以设置全屏

　　driver.maximize_window() #设置全屏

driver.set_window_size('480','800') #设置浏览器宽480，高800　　

　　元素定位

　　from selenium import webdriver

driver = webdriver.PhantomJS()

driver.set_page_load_timeout(5)

driver.get('http://www.baidu.com')

try:

driver.get('http://www.baidu.com')

driver.find_element_by_id('kw') # 通过ID定位

driver.find_element_by_class_name('s_ipt') # 通过class属性定位

driver.find_element_by_name('wd') # 通过标签name属性定位

driver.find_element_by_tag_name('input') # 通过标签属性定位

driver.find_element_by_css_selector('#kw') # 通过css方式定位

driver.find_element_by_xpath("//input[@id='kw']") # 通过xpath方式定位

driver.find_element_by_link_text("贴吧") # 通过xpath方式定位

print(driver.find_element_by_id('kw').tag_name ) # 获取标签的类型

except Exception as e:

print(e)

driver.quit()

　　向前或向后移动浏览器

　　from selenium import webdriver

driver = webdriver.PhantomJS()

try:

driver.get('http://www.baidu.com') #访问百度首页

driver.save_screenshot('1.png')

driver.get('http://www.sina.com.cn') #访问新浪首页

driver.save_screenshot('2.png')

driver.back() #回退到百度首页

driver.save_screenshot('3.png')

driver.forward() #前进到新浪首页

driver.save_screenshot('4.png')

except Exception as e:

print(e)

driver.quit()