chrome 插件 抓取网页qq聊天记录(Chrome安装爬虫必备插件:XpathHelper(最新教程)(组图))
优采云 发布时间: 2021-12-20 09:08chrome 插件 抓取网页qq聊天记录(Chrome安装爬虫必备插件:XpathHelper(最新教程)(组图))
Chrome安装爬虫必备插件:Xpath Helper(最新教程)
1. Google Chrome xpath helper 插件的安装和使用
使用lxml模块提取数据,需要掌握xpath的语法规则。接下来我们来看看xpath helper插件,它可以帮助我们练习xpath语法,让操作更方便。
2. Google Chrome xpath helper 插件的作用
xpath helper 插件是一款免费的 Chrome 爬虫网页解析工具。
可以帮助用户解决获取xpath路径时无法正常定位等问题。
这个插件主要可以帮助你在各种类型的网站上按shift键来帮助你提取和查询你想要查看的页面元素的代码。同时,您还可以编辑查询代码,编辑后的结果将立即出现在其旁边的结果框中。
在谷歌浏览器当前页面测试xpath语法规则
3. Google Chrome xpath helper 插件的安装和使用
以windows为例安装xpath helper
3.1 xpath helper 插件的安装
下载 Chrome 插件 XPath Helper
将文件后缀crx改成rar,然后解压到同名文件夹
将解压后的文件夹拖入已开启开发者模式的chrome浏览器扩展界面
重启浏览器,访问url后点击页面上的xpath图标,即可使用
如果是linux或macOS操作系统,则无需进行上述步骤2的操作,直接将crx文件拖入已开启开发者模式的chrome浏览器扩展界面即可。4. XPath 调试
安装Xpath Helper后,我们来抓取博客园首页的文章xpath路径。
这样就可以在输入文本框中输入对应的XPath进行调试,提取的结果就会显示在旁边的Result文本框中。
5. 附加内容
写过爬虫和网页解析的人都知道,定位和获取xpath路径需要很多时间,有时甚至在爬虫框架成熟的时候,基本上主要的时间都花在了页面解析上。
在没有这些辅助工具的日子里,我们只能搜索html源码,定位一些id找到对应的位置,非常麻烦,经常出错。
这是chrome浏览器的一个小技巧:
例如:现在我们在爬取博客园首页的文章xpath路径
//*[@id="post_list"]/div[1]/div[2]/h3/a
/html/body/div[1]/div[4]/div[6]/div[1]/div[2]/h3/a
这其实还不够方便,毕竟你不能在复制后立即检查它是否正确。所以我们需要上面这个开源的爬虫工具!
恭喜,你明白了!
参考:链接
来吧!
感激!
努力!