c 抓取网页数据(常见的三种情况下的抓包方法，你知道吗？)

　　c 抓取网页数据(常见的三种情况下的抓包方法，你知道吗？)

　　开场白：为了写爬虫，抓数据，首先要分析客户端和服务端的请求/响应。前提是我们可以监控客户端如何与服务器交互。让我们记录三种常见的情况。以下抓包方法

　　1.PC浏览器网页抓取

　　网络板捕获是最简单和最常见的。比如Google/Firfox/IE等浏览器自带的开发者调试工具（F12）可以满足部分需求，如果是请求前和响应后处理最多），比如修改请求浏览器发送的数据，修改服务器的相应数据。用F12开发这个工具不能满足我们的需求。这里介绍Fiddler抓包工具，可以理解为一个本地代理服务器，实现转发客户端和服务器的请求和响应

　　设置 Fiddler：

　　打开Fiddler，在菜单栏中，打开Tools –Options，在前三个选项卡设置下，OK，默认代理设置：127.0.0.1:8888

　　

　　

　　

　　然后在浏览器端设置代理：127.0.0.1:8888，可以抓取网页请求/响应，然后就可以在Fiddler端实现需求了根据需要，如：设置断点、过滤请求、修改请求数据、修改响应数据、拦截JS等。

　　2.移动应用捕获

　　在手机app上使用Fiddler抓包也很简单。它类似于上面的PC浏览器。移动终端和PC应该在同一个局域网内。手机Wifi应该设置为代理。IP为PC机的IP地址，例如：64.35.86.12，端口号为FIddler设置的端口号，一般为8888，这样手机上所有的网络/响应请求都必须被FIddler捕获并发送，这样我们才能针对某些链接进行分析

　　3.PC客户端（C/S）抓包

　　C/S程序捕获需要Proxifer的帮助

　　Proxifier 是一个非常强大的 socks5 客户端，它允许不支持通过代理服务器工作的网络程序通过 HTTPS 或 SOCKS 代理或代理链。

　　由于一般C/S客户端无法设置代理，FIddler无法检测到数据。我们可以使用 Proxifer 捕获所有请求并将其发送给 Fiddler，这样我们就可以在 Fiddler 中分析客户端请求。

　　Proxifer 设置：

　　设置很简单，如下图，两步就OK了

　　

　　一种）。设置代理服务器以匹配 Fiddler 代理设置

　　

　　b).设置代理规则

　　默认Default，我们可以忽略

　　

　　点击添加

　　名称：提琴手.exe

　　是否有效：是

　　选择Fiddler的应用文件目录，选择后，确认

　　

　　目标主机：我们本地Fiddler设置的代理，可以任意设置

　　目的港：任意

　　行动：直接

　　到这里设置就完成了，我们可以打开腾讯视频视频客户端，在Fiddler和Proxifer中看到数据

　　

　　

　　4.计算机上的所有C/S客户端都可以抓包

　　这时候，当 Proxifer 打开时，浏览器将无法连接网络。可以通过设置Fiddler方式连接网络，添加谷歌浏览器可执行程序文件，确认后即可上网

　　

　　转载地址：