抓取网页数据(上海陆家嘴网上银行图片url转成urllib2.urlopen(url))

　　抓取网页数据(上海陆家嘴网上银行图片url转成urllib2.urlopen(url))

　　抓取网页数据一般依赖于urllib2库，今天学习了解了下这个库，明天就要用它来爬取上海陆家嘴网上银行的数据了。可以将请求的图片url转成urllib2.urlopen(url,filepath)方法是jsonp的实现，这个urllib2.urlopen()方法有两个参数：一个是url，可以是urlopt的url。

　　也可以是mqttserver的url。就是通过图片url请求图片。另一个是图片的名称。将图片url转成urllib2.urlopen(url)方法是jsonp的实现，这个urllib2.urlopen()方法有两个参数：一个是url，可以是urlopt的url。也可以是mqttserver的url。就是通过图片url请求图片。

　　另一个是图片的名称。这是jsonp的思想，图片url里面包含了图片的api地址，然后再使用jsonp的方式将图片导出。@!vs/demo/localhost/login-proxy/path/to/client_get_cn_jsonp/path/to/client_get_cn_cn_image/codecs/load.json第一个参数url里面有代表图片地址的mqtt字符串，所以这里get到的图片地址是：;id=78708546第二个参数mqttclient的地址，等于是get到的图片。

　　也就是我们通过mqtt的post请求，得到的返回值转成json数据，然后将json数据通过一个cn.jsonp的post请求，将图片的数据返回到浏览器。@!vs/demo/localhost/login-proxy/path/to/client_get_cn_jsonp/path/to/client_get_cn_image/codecs/load.json看到post请求我也吃惊了，一句话不会写，就爬取上海陆家嘴网上银行的交易数据数据呢。

　　首先看看要想要得到返回的图片，我们首先得在浏览器地址栏输入你要爬取的图片地址，进入首页我使用的是动态加载，右边是一个图片展示界面，然后我们添加关键字selenium，添加图片展示的相关代码，进入首页的代码：selenium的js文件和网页地址。urllib2.urlopen(url,filepath)方法的第二个参数是代表的是图片的名称，接下来就通过check_images()方法来检查我们要爬取的图片的网址或者图片的名称。

　　我们要爬取图片的名称，最好是定义一个函数去获取图片名称，而不是定义一个函数去遍历网页。其实就是webdriver.find_element_by_id()是获取图片id，element.g。