chrome 插件 抓取网页qq聊天记录(一键拦截网页所有的JS，可以快速区分出哪些是异步的数据)

　　chrome 插件 抓取网页qq聊天记录(一键拦截网页所有的JS，可以快速区分出哪些是异步的数据)

　　正如许多爬虫程序所知，大多数时候编写爬虫程序不是在代码上，而是在分析网页上。都有一套使用方便的工具，可以大大节省劳动力。在这里，分享一些平时积累的chrome插件，这些插件是我和同事推荐的，并会不时更新。欢迎您的好评和采集

　　请注意，下载地址是Google App store，它需要一种特殊的访问方法。在文章的最后，还有我的打包下载方法。XPath助手

　　与chrome自己的HTML搜索相比，这个插件很容易使用，因为它可以显示匹配的结果。在插件中编写正确的XPath语句，然后将其复制到代码中

　　一次点击就可以截取网页上的所有JS，这可以快速区分异步加载的数据。对于爬虫来说，它绝对是必不可少的人工制品

　　FeHelper

　　我不想多说这个插件的功能。请看上面的截图。在分析请求时，经常使用一些数据转换函数。JSON格式化功能还可以通过单击导出JSON文件，这非常实用

　　JSON句柄

　　这是@quicksand在评论区推荐的JSON格式插件。虽然上面推荐的插件已经有了JSON函数，但是这个插件有一些小功能，比如本地选择、对象类型和数组长度。我试了几天。它非常实用，适合其他需要

　　用户代理交换机

　　快速修改useragent的插件。当您需要请求移动页面或传输特殊UA时，不要忘记它

　　X-Forwarded-For报头

　　有时网站过滤IP是通过请求标头中的x-forwarded-for字段来完成的。此插件可以修改此字段以进行快速判断

　　SwitchyOmega

　　用于快速切换http/Socks代理的插件也可以根据匹配的地址自动切换。另一项技能是与数据包捕获工具（如Charles和burp suite）合作。使用这些工具时，需要设置本地代理，可以提前设置，使用时切换

　　瓦帕利泽

　　您可以解析当前前端页面使用的框架和服务支持，因此可以对web框架使用特殊的爬网方法

　　刮网器

　　另一个工件，如果它只是一个简单的爬行数据，没有部署和更复杂的操作，您可以使用这个插件，内置在chrome控制台中，直接操作chrome浏览器进行爬行，不需要编写一行代码，并且支持多种导出格式。对于具体操作，您可以观看官方录制的视频

　　编辑曲奇

　　当爬虫遇到权限页时，不可避免地要反复调试cookie。该插件可以编辑当前站点的cookie，支持添加、删除、修改、导入导出、一键清空、搜索等功能

　　评论区中存在对这些插件安全性的担忧。如果你从谷歌商店（即我提供的链接）下载它们，这种可能性非常小。首先，chrome插件是开源的，需要在上架时进行审查。其次，我建议已经有很多用户和评论

　　然而，在流行的插件中也有隐藏恶意代码的情况。如果你不信任，你可以自己审核开源代码。您可以在chrome/default/extension目录中找到JS文件

　　在不断更新的过程中，[表扬是驱动力]，还有其他易于使用的插件，也欢迎与我分享