chrome 插件 抓取网页qq聊天记录(6款Chrome插件助你快速高效地进行数据爬虫)
优采云 发布时间: 2021-09-26 21:28chrome 插件 抓取网页qq聊天记录(6款Chrome插件助你快速高效地进行数据爬虫)
在PC端的日常抓取过程中,Chrome浏览器是我们常用的工具。
鉴于Chrome浏览器的强大,Chrome网上应用店中的众多强大插件可以帮助我们快速高效地抓取数据。
今天推荐的6个Chrome插件可以大大提高我们的爬虫效率。
编辑此Cookie
EditThisCookie 是一个 cookie 管理器,可以轻松添加、删除、编辑、搜索、锁定和阻止 cookie。
可以先将登录cookies保存到本地,使用cookielib库直接爬取登录数据。
它避免了抓包和模拟登录,帮助我们快速爬行。
网络爬虫
Web Scraper 是一款免费的,适合任何人的,包括没有任何编程基础的爬虫工具。
操作简单,只需点击鼠标,简单配置即可快速抓取Web端数据。
支持复杂的网站结构,数据支持文本、连接、数据块、下拉加载数据块等多种数据类型。
另外,爬取的数据可以导出为CSV文件。
Xpath 助手
Xpath Helper 是一个结构化的网页元素选择器,支持列表和单节点数据获取,
它可以快速定位网页元素。
与 Beautiful Soup 相比,Xpath 在网页元素的搜索性能上更具优势;Xpath 比正则表达式更方便编写。
写完Xpath后,会实时显示匹配数和对应位置,方便我们判断句子是否写对。
切换 JavaScript
Toggle JavaScript 插件可用于检测当前网页的哪些元素是通过 AJAX 动态加载的。
使用它可以在允许加载 JS 和禁止加载 JS 两种模式之间快速切换。
适用于 Chrome 的用户代理切换器
Chrome插件的User-Agent Switcher可以方便的修改浏览器的User-Agent。
它可以模拟不同的浏览器和客户端,包括Android和IOS来模拟请求。
对于一些特殊的网站,切换User-Agent可以让数据爬取更方便。
JSON 句柄
JSON-handle 是一款强大的 JSON 数据解析 Chrome 插件。它以简单明了的树状图样式显示 JSON 文档,并且可以实时编辑。对于数据量大的场景,可以做部分选择分析。
Python实用书()
不只是一本书