抓包分析、json数据解析(一)|抓包数据分析

优采云 发布时间: 2022-05-15 06:00

  抓包分析、json数据解析(一)|抓包数据分析

  jquery抓取网页内容之json数据前言先来说说http的文档格式。浏览器保存http页面上的内容,只能保存静态内容,即post或get。而json本质是一个对象格式,其中可以包含任意数据,比如对象对象函数属性等。本文主要通过抓包分析、json数据解析进行讲解。

  一、抓包分析百度json包的抓包抓包分析http::8080/json/static/static/web/public/json/blob,抓取代码如下varurl='/'varstatic_json={}static_json.push({json:{'name':'amethyst','learned':1}})static_json.send({'name':'adman','learned':6}),methods:{'get':url,'post':static_json},varflag=false是因为static_json是预处理的json数据。

  flag的值可以是

  0、1,如果flag=0是获取无值的json,flag=1则获取内部已经赋值了的json。(flag值为1则数据无效)举例:前两张图就可以看到,抓取的结果并不是post或get的格式,而是一个纯文本格式。

  二、解析json数据其实解析json数据的方法很多,传统json是利用json+json.length等单个key值来实现。其实可以利用lookup.split来实现数据的去重,其代码如下functionlookup(value){varpresize=length;lookup(value,value);returnfalse;}其实,下面我们抓包看看再说。

  三、代码的实现。a.抓包工具vs-xml-cookie这个抓包工具在网页数据抓取上还是挺好用的,下面演示一下这个抓包工具和xmlcookie进行的数据交互。其实这里用到的process.protocol对于我们来说也用不上,因为不是当前浏览器可以抓取的,这里简单演示一下。首先,打开抓包工具:接着,看页面内容,利用浏览器的network里对ajax的跳转,找到本地的method:type:1,即是:json的前缀:0x00。

  之后在process.protocol对象对应的属性处加上:82464,即为抓取工具的端口号,就变成本地的ajax了:可以看到,http网站的数据就变成了一个json数据。b.json的格式c.数据的解析实现json的数据解析,通常要先解析json格式的内容,而不是解析xml格式的内容,因为xml数据分析的时候需要考虑单元格或列表的格式,这里我们就选用了解析json的方法,具体详见源码。

  其中分解json数据的数据结构,数据转换方法,如object.values,function.apply等等。而xml数据解析的方法,都是简单粗暴的:复制flag=false.slice,然后简单进行替换操作即可。来自已经实现的csv数据分析练习。该代码。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线