国外网页视频抓取工具( 更多高深技巧请自行探索。(图)简单操作)
优采云 发布时间: 2022-01-25 21:02国外网页视频抓取工具(
更多高深技巧请自行探索。(图)简单操作)
安装成功后,打开Fiddler,界面如下:
默认情况下,它会抓取我们所有的请求。我们需要过滤 Fiddler 的设置。如果我们只想获取请求,我们需要像这样处理它:
,最后我们可以得到这样的效果:
,
您还可以指定客户端的进程:
除了刚才在Filters中设置的处理模式,还可以使用拖拽模式,
接下来,让我们尝试从手机中抓取请求。在从手机抓取请求之前,请确保手机和电脑在同一个局域网内,然后进入Tools->Options->Connections设置Fiddler如下:
,
由于我在PC端映射了一个wifi供手机连接,所以我的手机代理设置如下:
如果我们抓取美团App的请求,现在打开App可以看到:
这只是一个简单的示例介绍,请自行探索更高级的技术。
Wireshark 简单操作
第一次 Wireshark 下载,
安装后打开
可以看出我们本地有很多网卡驱动。我们如何知道当前在网络上的是哪个网卡?有两种方式,一种是查看本地连接,另一种是查看接口的网络流量。
您可以看到 Wireshark 开始为我们捕获数据包。由于Wireshark为我们捕获了TCP和HTTP,所以会有很多无用的信息让我们无法启动。这时候我们就可以使用Wireshark的过滤规则了:
,
在过滤栏输入关键词会有相应的智能提示。Wireshark 捕获中有多层信息:
通过Wireshark可以非常方便的分析TCP的三次握手和四次挥手的过程,有助于我们更直观的理解TCP协议。
好了,我们暂时停一下,这里只是软件的基本使用。如果要抓取HTTP和HTTPS协议的数据,我个人推荐使用Fiddler。其他更高级的应用后面会分享,还有强大的抓包工具Charles,不过是收费的。