c 抓取网页数据(常见的三种情况下的抓包方法，你知道吗？ )

　　c 抓取网页数据(常见的三种情况下的抓包方法，你知道吗？

)

　　开篇：写爬虫抓数据，首先要分析客户端和服务端的请求/响应。前提是我们可以监控客户端如何与服务器交互。我们记录三种常见的情况。下的捕获方法

　　1.PC浏览器网页抓取

　　网页板捕获是最简单和最常见的。比如Google/Firfox/IE等浏览器自带的开发者调试工具（F12））就可以满足部分需求。比如修改浏览器发送的请求数据，修改服务器的相应数据。用F12开发这个工具不能满足我们的需求。这里介绍Fiddler抓包工具，可以理解为本地代理服务器，实现转发client和Server的请求和响应

　　设置提琴手：

　　打开Fiddler，在菜单栏中，打开工具-选项，在前三个选项卡设置下，确定，默认代理设置：127.0.0.1:8888

　　

　　

　　

　　然后在浏览器端设置代理：127.0.0.1:8888，就可以抓取网页请求/响应，然后就可以在Fiddler端实现需求了根据需要，如：设置断点、过滤请求、修改请求数据、修改响应数据、拦截JS等。

　　2.移动应用捕获

　　在移动端使用Fiddler抓包也很简单。类似于上面PC浏览器的抓包方式。移动终端必须与PC在同一个局域网内。手机的Wifi设置代理，IP为PC机的IP地址，例如：64.35.86.12，端口号为FIddler设置的端口号，通常是8888，这样手机上的所有网络/响应请求都必须是FIddler发送的，这样我们才能针对一些链接做分析

　　3.PC客户端（C/S）抓包

　　C/S程序捕获需要Proxifer

　　Proxifier是一个非常强大的socks5客户端，它允许不支持通过代理服务器工作的网络程序通过HTTPS或SOCKS代理或代理链。

　　由于一般的C/S客户端无法设置代理，所以我们的FIiddler无法检测到数据。我们可以使用Proxifer来捕获所有的请求并发送给Fiddler，这样我们就可以在Fiddler中分析客户端的请求。

　　代理设置：

　　设置很简单，如下图，两步就OK了

　　

　　一种）。将代理服务器和 Fiddler 代理设置设置为匹配

　　

　　b)。设置代理规则

　　默认 Default，我们可以忽略

　　

　　点击添加

　　名称：Fiddler.exe

　　是否有效：是

　　选择Fiddler的应用文件目录，选择后，确认

　　

　　目标主机：我们本地 Fiddler 设置的代理，可以是任意

　　目的港：任意

　　行动：直接

　　现在设置完成，我们可以打开腾讯视频视频客户端，查看Fiddler和Proxifer中的数据

　　

　　

　　4.电脑上所有C/S客户端都可以抓包

　　这时候，当Proxifer打开时，浏览器将无法连接网络。可以通过设置Fiddler方式连接网络，添加谷歌浏览器执行程序文件，确定后就可以上网了