c 抓取网页数据(修改响应数据,模拟JS请操作2.App数据分析手机端 )
优采云 发布时间: 2021-12-18 03:05c 抓取网页数据(修改响应数据,模拟JS请操作2.App数据分析手机端
)
1.PC浏览器网页数据分析
简单通用的网页数据分析,Google/Firfox/IE等浏览器内置开发者调试工具(F12)可以满足部分需求,如果请求在响应前后处理,修改浏览器发送Request数据并修改服务器的相应数据,使用F12开发工具,不能满足我们的需求,通过引入Fiddler抓包工具,可以理解为本地代理服务器,转发客户端和服务器的请求和响应
设置提琴手:
打开Fiddler,在菜单栏中,打开工具-选项,在前三个选项卡设置下,确定,默认代理设置:127.0.0.1:8888
然后在浏览器端设置代理:127.0.0.1:8888,就可以抓取网页请求/响应,然后就可以在Fiddler端实现需求了根据需要设置断点,过滤请求,修改请求数据,修改响应数据,模拟JS,请操作
2.应用数据分析
Fiddler 还可用于移动应用程序的数据分析。类似于上面的PC浏览器获取数据的方式。APP需与PC在同一网段。移动Wifi设置代理,IP为PC的IP地址,例如:64.35.86.12,端口号使用设置的端口号Fiddler,一般为8888,App端的所有网络/响应请求都必须由FIddler转发,可以对请求进行数据分析
3.PC端(C/S)抓包
C/S程序捕获需要Proxifer
Proxifier是一个非常强大的socks5客户端,它允许不支持通过代理服务器工作的网络程序通过HTTPS或SOCKS代理来做代理链。
由于一般的C/S客户端无法设置代理,因此FIddler无法检测到数据,所有的请求都通过Proxifer捕获并发送给Fiddler,从而可以在Fiddler中分析客户端请求。
代理设置:
设置很简单,如下图,两步就OK了
一个)。代理服务器和 Fiddler 代理设置匹配
b)。代理规则
默认 Default 可以忽略
点击添加
名称:Fiddler.exe
是否有效:是
选择 Fiddler 应用程序文件目录并确认
目标主机:本地 Fiddler 设置代理,可以是任意
目的港:任意
行动:直接
打开腾讯视频视频客户端,查看Fiddler和Proxifer中的数据,确认配置成功