网页手机号抓取程序(做分析3.PC客户端(C/S)抓包方法)
优采云 发布时间: 2022-04-20 20:31网页手机号抓取程序(做分析3.PC客户端(C/S)抓包方法)
简介:为了编写爬虫并抓取数据,我们首先要分析客户端和服务器的请求/响应。前提是我们可以监控客户端如何与服务器交互。本案例中以下三种常见的抓包方法
1.PC 网页截图
网络板捕获是最简单和最常见的。比如Google/Firfox/IE等浏览器自带的开发者调试工具(F12)可以满足部分需求,如果在请求前和响应后处理最多,比如修改请求数据由浏览器发送并修改服务器的相应数据,使用F12开发这个工具不能满足我们的需求,这里介绍一下,可以理解为一个本地代理服务器,实现客户端和服务器的转发请求和响应
设置提琴手:
打开Fiddler,在菜单栏中,打开Tools --Options,在前三个选项卡设置下,OK,默认代理设置:127.0.0.1:8888
然后在浏览器端设置代理:127.0.0.1:8888,可以抓取网页请求/响应,然后就可以实现上的需求了Fiddler端根据需要,例如:设置断点、过滤请求、修改请求数据、修改响应数据、拦截JS等。
2.移动应用捕获
在App上使用Fiddler抓包也很简单,类似于上面PC浏览器抓包的方式。手机端必须和PC在同一个局域网内,手机Wifi要设置为代理。 IP为PC机的IP地址,例如:64.35.86.12,端口号为FIddler设置的端口号,一般为8888,这样手机上所有的网络/响应请求都必须被FIddler捕获并发送,所以我们可以分析一些链接
3.PC客户端(C/S)抓包
C/S 程序捕获需要 Proxifer 的帮助
Proxifier 是一个非常强大的 socks5 客户端,它允许不支持通过代理服务器工作的网络程序通过 HTTPS 或 SOCKS 代理或代理链。
由于一般的C/S客户端无法设置代理,所以我们的Fiddler无法检测到数据,我们可以使用Proxifer捕获所有请求并发送给Fiddler,这样我们就可以在Fiddler中分析客户端的请求了。
Proxifer 设置:
设置很简单,如下图,两步即可。
a).设置代理服务器和 Fiddler 代理设置匹配
b).设置代理规则
默认Default,我们可以忽略
点击添加
名称:Fiddler.exe
有效:是
选择Fiddler的应用文件目录,选择后确认
目标主机:我们本地Fiddler设置的代理,可以任意
目的港:任意
动作:直接
到这里设置就完成了。我们可以打开视频客户端,在 Fiddler 和 Proxifer 中查看数据。
4.电脑上的所有C/S客户端都可以抓包
此时,当 Proxifer 打开时,浏览器将无法连接网络。可以设置Fiddler模式,连接网络,添加浏览器可执行程序文件,确认后就可以上网了。
本文内容不用于商业用途。如涉及知识产权问题,请联系博伟峰小编(-8017),我们会第一时间处理
权威发布,测试选择不纠结!第十五期软件测试行业报告,直击行业发展,把握未来方向!