网页数据抓取软件(就是出如下弹窗的意思就是让我们去把手机wifi中代理改了 )

　　网页数据抓取软件(就是出如下弹窗的意思就是让我们去把手机wifi中代理改了

)

　　其实简单理解就是一个抓包软件，可能大家比较少见，但是大家应该都听说过fiddler和wirehack。事实上，功能几乎相同。

　　你为什么推荐这个？

　　其实不管是app抓包还是PC抓包，还有其他的软件，但是Charles有win版、macos版和linux版。

　　因此它与许多平台兼容。

　　废话不多说，我们直接开始整件事情（这里使用macos系统进行演示，其他系统类似）。

　　准备工作：电脑、手机、wifi

　　第一步当然是下载软件。这里就不多说了，尽量搜索pj版，因为charles是需要付费的，不过也会有30天的试用期。

　　接下来我们打开软件charles，找到菜单栏Proxy->Proxy Settings

　　

　　这里我们设置为8888端口，默认为8888，无需重新设置。

　　

　　之后，我们进入 Proxy->SSL Proxying Settings

　　

　　将地址添加为 * 并将端口添加为 443

　　

　　安装证书

　　

　　安装完成后，我们可以看到如下证书

　　

　　这意味着我们的证书安装完成。

　　接下来，我们必须继续安装证书。

　　

　　点击后会弹出如下弹窗

　　

　　大意是让我们在手机的wifi中更改代理。

　　这个其实很简单，我们进入手机的设置，然后点击wifi后面的感叹号进行设置（手机不一样，自己搞定）

　　

　　进入手动配置代理，这里的服务器填写你电脑的ip（macos使用ifconfig，windows可以使用ipconfig查看），在之前的提示窗口中，我们也可以看到ip地址。

　　端口号填写我们之前设置的8888

　　

　　点击storage，然后我们用浏览器访问chls.pro/ssl

　　如果此时访问没有响应，可以看一下电脑，会有弹窗，点击允许。

　　

　　这里我们点击允许

　　然后回到设置，我们可以看到提示安装描述文件

　　

　　我们点击这里安装它。

　　

　　最后我们做一个简单的测试，我们打开小红书app，然后可以观察到charles已经开始爬了。

　　

　　这说明我们已经配置成功了。

　　这是我们想要抓取一个应用程序或一个小程序时的第一步。如果这一步做得不好，后面的工作就根本无法进行。

　　总结

　　一旦数据包被成功捕获，大部分传统的网络爬虫技术都可以使用，因为大多数应用程序也使用 HTTP 协议来传输数据。根据应用程序的设计，应用程序抓取可能需要解决独特的挑战，例如 Android 逆向工程。

　　关于Python技术储备

　　学好 Python 是赚钱的好方法，不管是工作还是副业，但要学好 Python，还是要有学习计划的。最后，我们将分享一套完整的Python学习资料，以帮助那些想学习Python的朋友！

　　一、Python全方位学习路线

　　Python的各个方向都是将Python中常用的技术点进行整理，形成各个领域知识点的汇总。它的用处是你可以根据以上知识点找到对应的学习资源，保证你能学得更全面。

　　

　　二、学习软件

　　工人要做好工作，首先要磨利他的工具。学习Python的常用开发软件就到这里，为大家节省不少时间。

　　

　　三、入门视频

　　当我们看视频学习时，没有手我们就无法移动眼睛和大脑。更科学的学习方式是理解后再使用。这时候动手项目就很合适了。

　　

　　四、实际案例

　　光学理论是无用的。你必须学会​​跟随，你必须先进行实际练习，然后才能将所学应用于实践。这时候可以借鉴实战案例。

　　

　　五、采访信息

　　我们必须学习 Python 才能找到一份高薪工作。以下面试题是来自阿里、腾讯、字节等一线互联网公司的最新面试资料，部分阿里大佬给出了权威答案。看完这套面试材料相信大家都能找到一份满意的工作。

　　

　　

　　本完整版Python全套学习资料已上传至CSDN。需要的可以微信扫描下方官方CSDN认证二维码免费获取【保证100%免费】