网页音频抓取软件(Python绿色通道铁粉*敏*感*词*上有球友要求布置一个得到App数据)

　　网页音频抓取软件(Python绿色通道铁粉*敏*感*词*上有球友要求布置一个得到App数据)

　　这两天知识星球

　　蟒蛇绿道铁粉*敏*感*词*

　　一位高尔夫球手要求分配捕获应用程序数据的任务，所以我一言不发地试了一下。

　　效果图如下

　　我们过去常常在网络上抓取数据，我们很少在移动应用程序中抓取数据。那么我们如何抓取移动应用中的数据呢？一般我们使用抓包工具来抓数据。

　　有一些常用的捕获工具，以及其他一些。今天我主要说一下使用它们。与它们相比，它们更强大，更易于使用。所以一般我建议使用捕获工具。

　　下载并安装查尔斯

　　下载安装Charles然后破解Charles，这里是文章教程，我就不多说了

　　预防措施：

　　如果获取到的数据出现乱码，需要在Charles ==>proxy==>SSL Proxying Settings ==>Add 443的菜单栏中设置连接SSL证书，如上图所示。那么当你真正在抓数据的时候，记得把这个关掉，以免抓不到数据

　　使用查尔斯

　　这里我直接放两张图给大家使用看看就明白了

　　一起来分析一下这个项目。

　　打开Charles，然后打开手机，拿到App，进入逻辑思维板块。多次刷新App，Charles中Structure中*敏*感*词*的就是我们当前的请求。

　　查看右侧的Overview一栏，这里可以很方便的找到我们的请求路径、状态和请求方式

　　点击Contents栏，顶部是Requests区域，底部是Response区域。你可以看到上面的标题。这是我们实际编写代码时使用的Headers。** 在构造 Heaers 时注意不要收录空格。我刚刚犯了。这个错误**

　　再次查看表单列。下面是我们构造Post请求所需的一些参数。当我们请求时，要注意数据的变化，找出数据请求的规律。

　　我在这里找到的数据请求法是通过更改时间戳来获取数据。

　　我打算将获取的数据存储在 execl 中并下载相关的音频。

　　让我们开始编写代码。定义一个类并定义三个方法。代码结构如下： 这里我强调，在写代码之前一定要有一个大致的思路。我在这里定义了三种方法。我已经知道了我脑海中的细节。进程到了。

　　另外请注意，我可以说下一页数据的请求是通过时间戳。数据请求什么时候完成，如何请求下一页数据，如果时间戳和我当前时间一样 时间戳不一致，说明还有下一页数据，否则数据请求完成，具体代码如下：

　　完整代码：

　　目前这只是一个比较简单的手机App数据抓取。如何操作更复杂的数据采集？如何抓取朋友圈的数据？如何抓取微信公众号数据？敬请关注！