网页数据抓取怎么写(网页数据抓取怎么写一般我们遇到的都是javascript框架)

　　网页数据抓取怎么写(网页数据抓取怎么写一般我们遇到的都是javascript框架)

　　网页数据抓取怎么写一般我们遇到的都是javascript抓取，特别是网页上一堆iframe的时候就非常头疼。这个时候可以用jquery+bootstrap这个写法，或者是基于scrapy框架，基于base64解码写一个scrapy框架。bootstrap相对于jquery来说很少人用，bootstrap一般都是用来组件的配置。

　　基于github来说我们可以使用：forceencoding这个插件来编译javascript，编译后再发到各个浏览器上面。由于它是javascript编译，所以对于有些js的文件名我们可以直接一个个的搜，这样可以大大减少我们的搜索量。使用jquery这个时候可以直接使用scrapy来实现。scrapy的基本数据抓取我们的数据是针对于classbase64编码的，所以我们一般都是编写scrapy中我们知道scrapy使用了httpclient来传输数据，scrapy采用了http的请求对象作为请求的方法。

　　不管是http请求还是使用https也是一样的，我们的解析算法是通过encode来进行编码，再decode来解码。当发送请求到encode和decode之间时，就需要一个base64编码转换的过程。所以，我们一般都是编写base64编码程序，然后编写一个csv读取的程序。然后把数据发送到http请求响应结果中去，scrapy不管base64编码也好，请求也好都是编写很多连接的，当连接数量较多的时候有可能是json格式的。

　　这个时候我们可以使用scrapyurlencode函数转换成python的字符串，我们就可以直接看懂了。配置参数也是一样的，当然我们也可以直接把base64编码编写为csv格式这样发送就没有问题了。其他的连接以及传输结果我们是可以直接发送到浏览器的，按需获取。还有就是scrapy默认读取的是empty文件夹，当然你可以自己指定读取文件夹。

　　写这篇文章其实想和大家分享一下我在实际中遇到的一些实际问题，经常出现的一些问题，以及我们到了框架和平台以后可以采用何种思路去处理。首先我们有很多数据都是基于javascript编码抓取，这些在大多数的框架和平台都能解决。但是难点在于我们手动编写scrapy框架以及如何处理抓取的结果。首先我们说一下scrapy框架的选择，很多朋友可能对于python不熟悉或者不熟悉的人来说可能不知道怎么在网上下载scrapy，这个时候我建议都可以使用我们常见的scrapycore以及coreiron或者scrapynewiron或者是scrapy_loaderinfo这些包。

　　首先是我们这些包都支持在浏览器中打开googleflash，然后我们按照我们的web配置方法配置好我们的web就可以在浏览器中使用我们scrapy框架抓取数据了。如果还不会在googleflash中使用的。