c 抓取网页数据(网站反爬js函数破解方法)

　　c 抓取网页数据(网站反爬js函数破解方法)

　　介绍

　　如今的网站反爬法层出不穷，不像以前那么简单了。网页在后端呈现数据，然后将其发送到客户端。现在一般的web技术，前后端分离，前端通过js函数发送请求向后端请求数据，然后渲染数据。因此，如果我们简单地发送请求，最终结果只是一堆js函数。

　　当然爬虫里面也有对应的破解方法：selenium自动化工具，就是驱动浏览器模拟人为获取数据

　　安装 1、 安装硒库

　　pip install selenium

# 上面命令安装失败请用下面命令

pip install selenium -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

　　2、ChromeDriver

　　2.1、 Selenium如果要连接Chrome等主流浏览器，对应的浏览器需要安装驱动

　　2.2、 例如：selenium连接Chrome，需要安装ChromeDriver驱动

　　2.3、在ChromeDriver Mirror中找到对应版本Chrome的驱动（类似版本也是可以的）

　　2.4、 下载解压后，将chromedriver.exe放到项目目录下

　　2.5、确保Chrome浏览器设置环境变量

　　用