优采云采集器V9如何使用Json工具来采集数据(图)
优采云 发布时间: 2021-08-20 20:30优采云采集器V9如何使用Json工具来采集数据(图)
很多网站数据结构使用Json格式,所以遇到这种格式的数据时,很难用普通的采集规则完善采集,所以优采云采集器V9还提供了除了Json采集的功能,今天给大家介绍一下Json的功能以及如何使用Json工具采集数据。
这里主要介绍Json,所以找了个Json格式的网页。只介绍了Json格式采集的功能,其他的就省略了,所以我也直接用Json格式的数据的URL作为内容页。请在下方查看详细说明。
我们要采集的数据在网页上是这样显示的,如下图:
我们想要采集表单中的数据,发现网页源代码中并没有这样的数据,通过抓包获取数据URL:(这里说的是Json,但是怎么抓包我就不说了。)
打开网站,我们发现数据是这样的,如下图:
通过上图,老司机可能觉得这也可以通过正常规则采集。是的,上面的一些内容确实可以通过正常规则采集,但是大家注意保单描述,保单金额等方法是正常的采集。其实知道的人一眼就能看出这是一个Json格式的数据。如果人们不理解,他们应该怎么做?没关系,如果遇到类似格式的数据,我们先假设是Json,然后用Json工具优采云采集器看看数据是否可以读取。下面是优采云采集器如何使用Json工具采集。
先看上图,这里的内容标签采集设置中,我们选择JSON提取,可以看到JSON工具,我们点击,出现下图:
参考上图,点击选择按钮,然后选择URL地址(这里只介绍了URL类型),然后输入我们上面的URL,点击确定,如果出现下图,这样的目录结构,那么它必须是Json格式
让我们继续。默认情况下,所有这些都是关闭的。我们需要点击打开它们。然后我们会一一查看,直到找到你想要的数据。数据一般在数据中。如上图所示,desc中的文本信息一共有16条数据,每一条都是必填的。上图右下角提示按Ctrl选择多个节点,获取多条数据。需要分别点击,点击两个,可以看到上图JSON表达式中最后一个[]的值变成了*,表示采集多条数据。就这样,我们可以保存,等等,设置其他标签,就这么简单,用JSON工具点选即可。
经过测试,完美的采集来了。顺便说一句,如果有多条数据,则需要设置一个循环。赶紧试试Json工具