php抓取网页(推荐一个网页抓取小工具WebScraper推荐网页)

优采云 发布时间: 2021-09-17 10:21

  php抓取网页(推荐一个网页抓取小工具WebScraper推荐网页)

  我想分享的工具是chrome下的一个插件,叫做WebScraper,它是一个chrome网页数据提取插件,可以从网页中提取数据。在某种意义上,您也可以将其用作爬虫工具

  步骤1:创建站点地图

  打开Chrome浏览器,按F12键调出开发者工具,单击最后一个选项卡中的web scraper,选择“创建站点地图”菜单,然后单击“创建站点地图”选项

  推荐网页捕获小工具web scraper

  首先,输入您要获取的内容网站URL,以及您定义的捕获任务的名称。例如,我使用的名称是xiniulevel,URL是:

  步骤2:创建一个抓取节点

  我想抓取主标记和辅助标记,因此首先单击刚刚创建的站点地图,然后单击“添加新选择器”进入抓取节点选择器配置页面,然后单击页面上的“选择”。此时,您将看到出现一个浮动层

  推荐网页捕获小工具web scraper

  此时,当您将鼠标移动到网页中时,它将自动高亮显示您将鼠标悬停在绿色位置的位置。此时,可以单击要选择的块,该块将变为红色。如果要选择同一级别的所有块,可以继续单击下一个相邻块。此时,工具将默认选择同一级别的所有块,如下图所示:

  推荐网页捕获小工具web scraper

  我们会发现下部浮动窗口中的文本输入框会自动填充块的XPath路径,然后单击“执行选择!”结束选择,浮动框消失,所选XPath将自动填充到下部选择器行中。此外,外交部必须选择“多个”来声明您要选择多个区块。最后,单击保存选择器按钮完成

  推荐网页捕获小工具web scraper

  步骤3:获取元素值

  创建选择器后,返回上一页,您将看到选择器表的另一行。接下来,可以直接单击操作中的数据预览,以查看要获取的所有元素值

  推荐网页捕获小工具web scraper

  推荐网页捕获小工具web scraper

  上图所示的部分显示我添加了两个选择器:primary标记和secondary标记。单击数据预览的弹出内容,这实际上是我想要的。只需将其直接复制到excel,无需太复杂的自动爬网处理

  以上是对刮网器使用过程的简要介绍。当然,我的使用并不是完全有效的,因为每次我想要获得一个辅助标签时,我必须手动切换主标签,然后执行抓取指令。应该有更好的办法,但对我来说已经足够了。本文文章的主要目的是与您一起推广此工具。这不是教程。应根据您的需要探索更*敏*感*词*~

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线