js 爬虫抓取网页数据(js爬虫抓取网页数据和session保存数据三个大阶段)

　　js 爬虫抓取网页数据(js爬虫抓取网页数据和session保存数据三个大阶段)

　　js爬虫抓取网页数据可以分为抓包，解析网页数据和session保存数据三个大的阶段。

　　一、抓包前的准备工作

　　1、首先手动抓包，请求网页的url内容，返回内容中各个参数要对应着请求过来的地址及参数进行处理。

　　2、手动方式抓包:首先需要调用js框架去对网页的全部内容进行抓取，爬虫爬了一段时间后发现各个参数不是很能看得懂，而且还不能手动进行修改，所以，需要一款可以自动抓包工具，推荐使用awesome-js框架。

　　3、手动方式抓包:需要借助awk命令程序，用于将抓取好的js网页语句写入文件中或者调用as命令，将抓取好的js网页语句写入文件中try{text="img="+json。stringify(request。url);eval=if(text==""){eval1=json。encode(text);eval2=json。

　　encode(stringlike(json。loads(text)));eval=if(eval==""){eval1=json。stringify(request。url);eval2=json。encode(stringlike(json。loads(text)));eval1="eval1";eval2="eval2";eval=if(eval==""){eval1="eval1";eval2="eval2";eval=if(eval==""){eval1="eval1";eval2="eval2";eval=if(eval==""){eval1="eval1";eval2="eval2";eval=if(eval==""){eval1="eval1";eval2="eval2";eval=if(eval==""){eval1="eval1";eval2="eval2";eval=if(eval==""){eval1="eval1";eval2="eval2";eval=if(eval==""){eval1="eval1";eval2="eval2";eval=if(eval==""){eval1="eval1";eval2="eval2";eval=if(eval==""){eval1="eval1";eval2="eval2";eval=if(eval==""){eval1="eval1";eval2="eval2";eval=if(eval==""){eval1="eval1";eval2="eval2";eval=if(eval==""){eval1="eval1";eval2="eval2";eval=if(eval==""){eval1="eval1";eval2="eval2";eval=if(eval==""){eval1="eval1";eval2="eval2";eval=if(eval==""){e。