chrome 插件 抓取网页qq聊天记录(Chrome安装爬虫必备插件:XpathHelper(最新教程)(组图))

优采云 发布时间: 2021-12-20 09:08

  chrome 插件 抓取网页qq聊天记录(Chrome安装爬虫必备插件:XpathHelper(最新教程)(组图))

  Chrome安装爬虫必备插件:Xpath Helper(最新教程)

  1. Google Chrome xpath helper 插件的安装和使用

  使用lxml模块提取数据,需要掌握xpath的语法规则。接下来我们来看看xpath helper插件,它可以帮助我们练习xpath语法,让操作更方便。

  2. Google Chrome xpath helper 插件的作用

  xpath helper 插件是一款免费的 Chrome 爬虫网页解析工具。

  可以帮助用户解决获取xpath路径时无法正常定位等问题。

  这个插件主要可以帮助你在各种类型的网站上按shift键来帮助你提取和查询你想要查看的页面元素的代码。同时,您还可以编辑查询代码,编辑后的结果将立即出现在其旁边的结果框中。

  在谷歌浏览器当前页面测试xpath语法规则

  3. Google Chrome xpath helper 插件的安装和使用

  以windows为例安装xpath helper

  3.1 xpath helper 插件的安装

  下载 Chrome 插件 XPath Helper

  

  将文件后缀crx改成rar,然后解压到同名文件夹

  将解压后的文件夹拖入已开启开发者模式的chrome浏览器扩展界面

  

  

  重启浏览器,访问url后点击页面上的xpath图标,即可使用

  

  如果是linux或macOS操作系统,则无需进行上述步骤2的操作,直接将crx文件拖入已开启开发者模式的chrome浏览器扩展界面即可。4. XPath 调试

  安装Xpath Helper后,我们来抓取博客园首页的文章xpath路径。

  这样就可以在输入文本框中输入对应的XPath进行调试,提取的结果就会显示在旁边的Result文本框中。

  

  5. 附加内容

  写过爬虫和网页解析的人都知道,定位和获取xpath路径需要很多时间,有时甚至在爬虫框架成熟的时候,基本上主要的时间都花在了页面解析上。

  在没有这些辅助工具的日子里,我们只能搜索html源码,定位一些id找到对应的位置,非常麻烦,经常出错。

  这是chrome浏览器的一个小技巧:

  例如:现在我们在爬取博客园首页的文章xpath路径

  //*[@id="post_list"]/div[1]/div[2]/h3/a

  /html/body/div[1]/div[4]/div[6]/div[1]/div[2]/h3/a

  这其实还不够方便,毕竟你不能在复制后立即检查它是否正确。所以我们需要上面这个开源的爬虫工具!

  恭喜,你明白了!

  参考:链接

  来吧!

  感激!

  努力!

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线