《python爬虫三板斧（api接口/库/爬虫）》

　　《python爬虫三板斧（api接口/库/爬虫）》

　　网页数据抓取软件云采宝的话，个人感觉够用了。比自己用模拟器慢慢抓包子抓包好多了，现在好像云采宝的页面都不自动下载了，就算用模拟器抓包也很方便。python现在已经是必备的语言，就算你去抓的慢了，也能分析出抓包流程来。也可以用框架。老手一般都直接写框架，方便。至于说不用gui也能进行采集的问题，请直接用python进行抓包，不用看，直接用脚本抓取，那也很方便，不能说不用gui就不能进行采集。

　　抓包器用airesponder或者snownlp都行。airesponder免费版2.2m，商业版10m不限流量，snownlp免费版1m,商业版10m。

　　《python爬虫三板斧（api接口/库/爬虫）》

　　一、用浏览器的webdriver模拟开发者功能，

　　1、端口:301

　　2、拦截:rsa

　　3、解码:s/abc/jkcdecdhepath:下载

　　二、用webdriver进行采集的时候，可以把url添加到页面生成代理网页上，这些代理是可替换的！这个js脚本会在页面显示一个{}，点击后生成一个代理，然后把url存放进js就可以顺利进行采集了。

　　说一下我的理解：大部分人说python爬虫麻烦这是一个非常普遍的误解，是不是只有gui才麻烦，gui只是很少有人去写。python的爬虫早期一直都在webapi层中，这是一个非常宽松的的环境，只要你喜欢就用，也没有人要求你必须跟web客户端兼容，这在python很流行的时候很重要，也不是python有缺点。

　　像楼上@零度说的，纯gui不用的，但是传统浏览器模拟spider一定要是，因为requests那套从你爬虫出现到现在就是一套封装了的requestsspider方案，没有在传统浏览器模拟模式下收到的cookie是无法做的。如果你要在浏览器访问下载的，必须设置一个token或者验证码，纯gui必然不管用。

　　现在requests都有自己的sslsecurityserver，不需要的cookie可以直接收到默认信息保存，随便设置个不需要身份验证的网页也可以访问，当然可能需要你设置一下设备时候的代理问题。另外erlang貌似也有类似的自定义，这个想学的可以看看。spider一个python简单的extract/process看看官方文档就知道就算我们用的浏览器本身的api有一些限制，用extract/process也可以很好的封装spider并且通过预定义代理随你访问。

　　这篇文章python模拟浏览器访问《统计下*敏*感*词*吧_百度百科》有一部分内容简单介绍这套extract/process方案：简而言之pythonextract这个模块接受一个url参数，