抓取网页数据(GET/POST方法的差异,简单的查询都用POST)

优采云 发布时间: 2021-12-07 01:53

  抓取网页数据(GET/POST方法的差异,简单的查询都用POST)

  这个文章我不建议你采集它,因为你不会打开采集夹。建议你现在花5分钟阅读这篇文章,用这5分钟真正掌握一个知识点。

  最近才发现原来捕获BDI和BHSI索引的网站在2021年之后就没有更新了:

  没办法,只好另寻数据源了。当然,这个索引可以随便搜,有很多:

  既然那位排在第一位,就拿去吧。

  通过chrome浏览器输入网站后,右键菜单【检查】查看参数(视频没有声音,可以公开播放):

  哎,这么简单的查询使用POST方法作为请求...

  不过没关系,简单的POST请求类型网站的数据捕获并不复杂,虽然不像GET类型网站那样可以直接粗暴地用一个URL来处理。

  关于GET/POST方法的区别,简单来说,GET类主要是用来传递一些简单的参数来实现数据查询,所以这些参数会直接加到URL中,而POST类主要是用于查询条件比较 在复杂的情况下,这些参数会以表格的形式传输。当然,既然POST方法可以用在复杂的情况下,当然也可以用在简单的情况下,比如上面的例子。(关于GET/POST更详细的资料,有兴趣的朋友可以自行搜索,不过非IT专业人士一般不需要了解太多,知道是这样,需要的时候知道怎么找方法,或者它可能足以知道如何询问人)。

  那么,在 Power Query 中,如何从 POST 网页中抓取数据?记住以下三个必要的内容:

  这有点复杂,不是吗?这些东西从哪里来?其实很简单。您可以通过 Chrome 中的“检查”功能轻松获取这些信息:

  即使点击了“查看源代码”,也可以直接看到这些参数最终传入的时候是什么样子的:

  通过这 3 项,可以在 Power Query 中捕获数据。

  其中,前两项可以直接复制粘贴到对应的框中,但是参数需要通过Text.ToBinary转换成二进制内容,然后手动输入到Content参数中(视频没有声音,可以在公众面前充满信心地演奏):

  这样就很容易得到一个简单的网页数据爬取的POST请求。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线