c 抓取网页数据(之前自带的开发者调试工具(F12做过)() )
优采云 发布时间: 2022-03-19 23:04c 抓取网页数据(之前自带的开发者调试工具(F12做过)()
)
之前抓过浏览器包,可以用浏览器自带的工具来完成;APP包我也抓到了,也可以通过fiddler做代理。现在想在PC端测试一下这个以前没接触过的应用。,我对应用捕获不太了解,于是开始搜索。接下来是处理结果。
1.PC浏览器网页数据分析
简单常用的网页数据分析,谷歌/Firfox/IE等浏览器自带的开发者调试工具(F12)可以满足一些要求,如果是请求前和响应后处理最多,修改浏览器为发送请求数据,修改服务端对应数据,使用F12开发工具无法满足我们的需求,通过引入Fiddler抓包工具,可以理解为一个本地代理服务器,可以转发客户端和服务端的请求和响应。
设置提琴手:
打开Fiddler,在菜单栏中,打开Tools --Options,在前三个选项卡设置下,OK,默认代理设置:127.0.0.1:8888
然后在浏览器端设置代理:127.0.0.1:8888,可以抓取网页请求/响应,然后就可以在Fiddler端实现需求了并根据需要设置断点,过滤请求,修改请求数据,修改响应数据,模拟JS请操作
2.应用数据分析
Fiddler 也可以用于移动 App 数据分析,类似于上面从 PC 浏览器检索数据的方式。App需要和PC在同一网段,设置了移动Wifi代理,IP为PC机的IP地址,例如:64.35.8< @6.12,端口号为FIddler设置的端口号,一般为8888,App端所有网络/响应请求都必须经过FIddler转发,可以对请求做数据分析
3.PC 端 (C/S) 数据包捕获
C/S程序捕获需要Proxifer的帮助
Proxifier 是一个非常强大的 socks5 客户端,它允许不支持通过代理服务器工作的网络程序通过 HTTPS 或 SOCKS 代理成为代理链。
由于一般的C/S客户端无法设置代理,Fiddler无法检测到数据,所有的请求都会被捕获并通过Proxifer发送给Fiddler,这样客户端的请求就可以在Fiddler中进行分析。
Proxifer 设置:
设置很简单,如下图,两步OK
一种)。代理服务器和 Fiddler 代理设置匹配
b).代理规则
默认Default,可以忽略
点击添加
名称:提琴手.exe
是否有效:是
选择Fiddler应用文件目录,确认
目标主机:本地Fiddler设置代理,可任意设置
目的港:任意
行动:直接
打开腾讯视频视频客户端,查看Fiddler和Proxifer中的数据,确认配置成功