谷歌抓取网页视频教程(直播源地址的协议很多种，疯狂URL系统windows简单介绍 )

　　谷歌抓取网页视频教程(直播源地址的协议很多种，疯狂URL系统windows简单介绍

)

　　直播源介绍

　　首先，让我们快速了解一下什么是直播源。所谓直播源，其实是指推流地址。你可能不知道推流地址是什么。那我简单说一下，推流地址是当某个直播开始时，你需要向观众实时展示你的直播状态，而观众看到的直播是实时从推流地址。推流地址是推流服务器的地址。推流就是将直播状态实时上传到推流服务器，观众在观看的时候，会从推流服务器实时下载，其实叫拉流。这个过程也类似于我们观看在线视频的方式。视频文件存储在服务器中。

　　因此，直播源地址一般分为两部分。第一部分是推送服务器的主机地址/域名地址，第二部分是参数，一般包括时间戳和密钥密码。直播源地址的协议有很多。常见的app直播使用rtmp和http，而*敏*感*词*直播常用rtsp协议。电视直播大部分是http，也有一些是rtmp，直播源分为静态和动态。静态的一般都是长的有效链接，一般没有特殊情况，地址不变，可以随时查看，主要是http，少量的rtmp等，而动态的直播源时间限制比较短，一般在几个几秒钟到几分钟。

　　怎么抢直播源？

　　准备工具：

　　模拟器或直拨电话都可以

　　抓包工具（fiddler、wireshark、疯狂URL）系统windows

　　简单介绍一下以上三个工具

　　fiddler：代理抓包工具，主要抓http/https，常用来抓网站数据包，开发中常用的站点分析工具，也可以通过设置代理来抓手机app数据，包括移动web页

　　wireshark：一个网络捕获和分析工具。与 fiddler 不同的是，这种捕获范围更广。它主要通过数据包捕获网络接口中的所有流量，包括tcp/udp等，然后分析得到我们需要的。有效信息。

　　Crazy URL：这是一个基于winpacp和npacp的抓包工具。Wireshark也是基于winpacp开发的。更多关于winpacp的信息，可以去谷歌了解更多。Crazy URL支持捕获网络接口，即网卡数据流量，也支持捕获网站数据。疯狂的 URL 实际上是经过过滤和封装的。如果很多用户只需要抓取特定的资源，他们不需要如何分析数据包，那么使用疯狂的 URL 是最好的解决方案

　　以上三个工具的介绍基本相同。这要看个人的实际情况，以及使用的难易程度。最简单的一个是疯狂的 URL。这是相同的操作。如果您不想使用模拟器或模拟器中无法安装某些应用程序，您可以在电脑上打开热点共享，然后将手机连接到热点。）

　　步：

　　1.开始疯狂网址如下图（疯狂网址下载地址）

　　注意：新安装的用户安装后可能会提示缺少xxx组件/模块，安装相应系统的组件后才能看到网卡列表。安装组件的方法极其简单，点击疯狂网址右上角的帮助选项->找到对应系统的组件进行安装，如下图：

　　对于组件安装，您必须选择您自己系统的相应安装。Win7用户不能安装win10组件，否则无法使用。如果安装错误，请到控制面板->卸载程序下载错误安装的组件，然后重新安装正确的组件。然后打开如下图：

　　首先会看到两个界面，小界面是网卡列表界面，我们选择一个我们当前正在使用的网卡（一般带一个ip地址，如果有多个ip，请看下面的操作选择），比如我的网卡就是图中的红框，以WLAN 2开头。查看当前活动网卡最简单的方法是右键任务栏->打开任务管理器，如下图：

　　选择任务管理器顶部的性能选项，然后在左侧列表中查看相关网卡，查看哪个网卡有流量上传或下载。一般来说，这是您要选择的网卡。图中*敏*感*词*框对应适配器名称和网卡名称，只要匹配一般就OK

　　您还可以在网络设置中检查您在网络适配器中使用的内容，然后选择您想要的内容。第一种方法是最快最简单的

　　网络适​​配器如图

　　2.选择网卡后，确认我们在主界面，已经自动进入监控状态。这时候，我们只需要在模拟器中打开一个直播应用即可。这里我将演示抓取一个直播应用（其他应用）。同理，没有区别，包括直播的电视APP，比如咪咕等），我直接选一个我觉得不错的*敏*感*词*姐进入*敏*感*词*如下图

　　3.从上图我们可以清楚的看到，当我们进入*敏*感*词*时，疯狂的网址列表中会出现一个地址。每次我们进入*敏*感*词*，都会添加地址。这些地址就是我们想要的直播源地址，那我们怎么看是不是我们想要的地址，还是只是平台的网址呢？这个我们在疯狂的URL地址上点右键，玩一下，试一试就知道了，如下图

　　4.点击播放后，这个画面和刚才在app里打开的完全是同一个人，并且是同步的，所以毫无疑问，这就是我们想要的直播源。事实上，疯狂的 URL 已经被很好地过滤了。强大的过滤系统将过滤掉不相关的链接。如果遇到一些你认为不是直播的地址，也可以手动设置过滤调整，如下图

　　5.你只需要点击类型旁边的三角按钮，勾选你需要的链接类型即可。直播源，自然是看视频。默认情况下不勾选，表示所有类型都是Support，但内部还是会过滤掉不相关和冗余的地址。这纯粹是为了用户体验。不信可以看下疯狂网址左下角的包数统计。

　　6.短短几分钟，数据包的数量就达到了八万多，是不是很神奇，而且我们只需要一个，从几万甚至更多的数据包中筛选出我们需要的几个数据块真的很强大。如果没有过滤功能，则需要从数以万计的数据包中分析出自己需要的数据。单击一下，这是一项非常繁琐且浪费时间的工作。我想应该没有人愿意这样做，而关于过滤，即使我们不使用播放器进行测试，仍然一目了然，这个链接的类型，如下图

　　在类型栏中，视频格式基本上是可播放的。视频格式有很多，如flv/mp4/m3u8/avi/wmv等，为方便用户，只需要看视频旁边的字即可。表示链接为视频格式，支持播放器播放。

　　还有一点你需要知道的是，除了用 Crazy URL 内置播放器播放外，你仍然可以复制抓取的 URL 并在任何支持的流媒体播放器中播放

　　如果我们要爬取网站资源，也可以使用疯狂的URL扩展

　　他可以帮我们抓取您指定的网站的资源，比如一些网站的直播和在线视频等。

　　操作方法也很简单，我们只要打开任意一个网站视频，就可以抓取视频链接

　　这是b学位视频的主页

　　让我们点击视频

　　最后一个视频是我们刚刚打开的视频地址。我们可以使用内置播放器播放或复制它。可以使用专用下载工具下载，也可以在第三方播放器上播放。

　　Windows平台推荐播放器potplayer，手机上使用VLC支持流式播放