网页视频抓取软件( 关于fiddler部分app抓包连不上网原因，你知道吗？)

　　网页视频抓取软件(

关于fiddler部分app抓包连不上网原因，你知道吗？)

　　

　　点击红框中的链接将开始下载证书：

　　

　　随便写下证书名称，最后点击确定。安装成功后，通知栏会显示被未知第三方监控，表示成功。

　　最后一步，进入手机的WLAN设置，点击当前连接的wifi，修改网络，如下图：

　　

　　关于fiddler的部分app抓包时无法上网的原因： 电脑和手机连接在同一个网络，并保证在局域网内。

　　在电脑上查看电脑的ip地址：win+R键，输入cmd，弹出窗口后输入ipconfig

　　原因2：配置fiddler后，重启。原因三：关闭电脑的防火墙和杀毒软件。（十进制）编写 fiddlerScript 规则，

　　在fiddler菜单栏中，点击Rules->Customize Rules，使用Ctrl+F找到Lavender方法并添加一行代码

　　if (oSession.host.toLowerCase() == "webserver:8888")

　　{

　　oSession.host = "webserver:80";

　　}

　　

　　设置好后重启Fiddler。

　　此外，Fiddler 可以捕获任何支持 http 代理的程序的数据包。如果要捕获 https 会话，则必须先安装证书。

　　以上完成后，就可以开始抓包了。一、建立接下来的步骤1.首先建立捕获目标

　　

　　2.开始抓包

　　打开快手APP，Fiddler会快速显示很多信息，这些都是手机发送或接收的信息。可以一一点击包，查看是否是我们需要的json形式的内容，如下图：

　　

　　这时候可以看到有一个包显示了很多信息，包括视频的标题，发布者，然后拉下来发现里面有很多标签叫“main_mv_url”，复制一个后面的url的标签到浏览器，发现浏览器下载了一个mp4格式的视频，点击视频，就是我们需要的。为了在列表中只显示我们需要的包并使视图更清晰，我们可以使用过滤器只显示 URL 中收录 /rest/n/feed/ 的内容

　　

　　打开 Actions 并选择第一个

　　回到Fiddler，看上一个包的header（Fiddler的右上窗口），上面有一个url

　　也可以在Inspectors中Post请求的第一行查看（关于Post和get的区别，设计html，这里不再赘述）

　　你可以复制到浏览器中，你会发现它并没有打开和Fiddler右下角一样的json界面，而是因为url不完整而显示服务器繁忙。注意右上窗口最后一行有一个user_id=..."。这其实是完整url的后半部分，应该拼接到POST url第一行的后面（ HTTP/1.1)之前，并用&连接。复制完整的url到浏览器得到类似Fiddler右下窗口的东西

　　

　　

　　查看字符串“user_id=...”，可以多抓几个包对比，发现count后面的数字不一样，也就是每个json收录的视频个数不一样。平均每个 json 收录 20 个视频下载链接。页后的数字代表页数。在快手界面一直往下滑。不久之后，会有另一个包裹。可以发现，页面后的数字在增加。__NStokensig 和后面跟着 sig 的一串数字没有规则可循。需要破解快手APP的密码才能知道。所以不可能掌握每个json url的变化规律，所以如果要抓20多个视频，只能在快手app页面向下滑动，抓包，

　　程序很简单，增加了日志功能，记录每个视频的标题和url以及下载进度。有时候可能是下载链接有问题，所以程序可能会卡在那里，因为我没有做超时处理，所以需要停止程序，修改page和video_count的值才能继续下载。当然，这种情况比较少见。最后，记得在每个视频下载完成后使用 time.sleep() 挂起几秒钟，否则访问太快可能会被阻塞。如何批量下载json 系好安全带选定区域

　　

　　

　　点击保存->选择保存格式->作为文本

　　然后选择路径

　　我建议您将文件名更改为 1.txt 1.txt 1.txt

　　重要的事情说了三遍，这就为我们后续的bat程序打开了钥匙

　　好的，学生专注于

　　保存有什么用？

　　第一的

　　让我们在文件目录下新建一个bat文件

　　输入代码

　　POST 可以

　　更改为提琴手中的网址

　　但它必须是

　　采取 POST 的前半部分 .../rest/rest/thanos/feed/profile2?

　　... 部分可以更改为您抓取的 URL 或 IP 地址

　　findstr /c:"POST http://101.251.217.216/rest/thanos/feed/profile2?" /c:"user_id=" 1.txt>all.txt

　　然后会生成一个all.txt

　　里面是

　　这里因为链接没有拼接

　　所以看下面的操作。这里推荐使用 Notepad++。

　　打开后，选择替换