excel抓取网页动态数据(获取Excel高手都在用的“插件合集+插件使用小技巧”！)

　　excel抓取网页动态数据(获取Excel高手都在用的“插件合集+插件使用小技巧”！)

　　获取所有Excel高手都在使用的《插件集+插件使用技巧》！

　　一时兴起，在知乎搜索Excel，想学习如何写好评文章。

　　

　　看到这些标题，看完的时候，一下子就勾起了下载采集

的欲望！

　　如何捕捉所有高赞的文章？

　　一开始我想到了使用Python。

　　想了想，好像用Power query可以实现，所以实现了如下效果。

　　

　　在表格中输入搜索词，然后右键刷新，即可得到搜索结果。

　　

　　你能理解我必须在表格中捕捉它吗？

　　因为可以直接按照Excel中的“点赞数”排序！

　　感觉像是在排队。我总是第一个排队，挑最好的！

　　

　　好，我们来看看这个表格是怎么制作的。

　　大致可以分为4个步骤：

　　❶ 获取JSON数据连接；

　　❷ 电源查询处理数据；

　　❸ 配置搜索地址；

　　❹ 添加超链接。

　　01 操作步骤

　　❶ 获取JSON数据连接

　　通常在浏览网页时，它是一个简单的网址。

　　

　　在网页中看到的数据实际上有一个单独的数据链接，可以在浏览器中找到。

　　

　　我们需要的数据链通常对应的是JSON格式的数据，如下图。

　　

　　查找方法需要进入开发者模式，然后查看数据的网络变化，找到xhr类型的链接，其中之一就是数据传输连接。

　　

　　复制此链接，这是Power Query 将抓取数据的链接。

　　❷ 电量查询处理

　　您可能不知道 Power Query 可以捕获 Excel 中的数据，

　　您还可以抓取多种类型的数据，例如 SQL 和 Access：

　　

　　网站数据也是其中之一：

　　

　　把我们之前得到的链接粘贴到PQ中，这个链接就可以用来抓取数据了。

　　

　　然后得到的是网页的数据格式。如何获取具体的文章数据？

　　Power Query 的强大之处在于它可以自动识别 json 的数据格式，并解析和提取特定内容。

　　整个过程，我们不需要做任何操作，只需点击一下即可完成。

　　

　　我们此时得到的数据会有一些不必要的额外数据。

　　例如：thumbnail_info（缩略图信息）、关系、问题、id.1等。

　　

　　删除它们，只保留您需要的文章的标题、作者、超链接等。

　　

　　数据处理完成后，选择最开始的卡片，点击“关闭并上传”即可完成数据抓取，非常简单。

　　

　　❸ 配置搜索地址

　　但是，此时我们抓取的数据是固定的，没有办法根据我们输入的关键词进行更新。

　　这是因为数据超链接中收录

的搜索词尚未更新。

　　

　　所以在这一步，我们需要配置这个数据链，根据搜索词动态更新。

　　在表中创建一个新数据，然后将其加载到 Power 查询中。

　　

　　然后得到这个搜索词，以变量的形式放到搜索地址中，搜索地址的配置就完成了。

　　

　　修改后的地址代码如下：

　　  getdata = (page)=>

  let

      keywords = 搜索词[ 搜索词]{0},

      源 = Json.Document(Web.Contents("https://www.zhihu.com/api/v4/search_v3?t=general&q="& keywords & "&correction=1&offset="& Text.From(page*20) &"&limit=20&random=" & Text.From(Number.Random()))),

      data = 源[data],

      jsondata = Table.FromList(data, Splitter.SplitByNothing(), null, null, ExtraValues.Error)

  in

      jsondata,

  转换为表 = Table.Combine(List.Transform({1..10}, getdata)),  

　　▲左右滑动查看

　　❹ 添加超链接

　　到这一步，所有的数据都已经处理完毕，但是如果要查看原知乎页面，还需要复制超链接在浏览器中打开。

　　

　　每次点击几次鼠标很麻烦；

　　这里我们使用HYPERLINK函数来生成一个可点击的超链接，这样访问就简单多了。

　　

　　❺ 最终效果

　　最后的效果是：

　　

　　❶ 输入搜索词；

　　❷ 右键刷新；

　　❸ 找到点赞数最高的那个；

　　❹点击【点击查看】，享受跳线的感觉！

　　

　　02 总结

　　你知道在表格中搜索的好处吗？

　　❶ 按“点赞数”排序，按“评论数”排序；

　　❷ 阅读过的文章，可以加专栏写评论；

　　❸ 可以过滤自己喜欢的“作者”等。

　　明白为什么，精英都被Excel控制了吧？

　　现在大多数电子表格用户仍然使用 Excel 作为报告工具来绘制和绘制电子表格以及编写公式。

　　请记住以下 Excel 新功能。这些功能让 Excel 成长为功能强大的数据统计和数据分析软件，它不再只是您脑海中的报表。

　　❶强力查询：数据排序清理工具，搭载M强大的M语言，可以实现多表合并，也是本文的主要技术。

　　❷ Power Pivot：数据统计工具，可以自定义统计方法，实现数据透视表中的多字段计算，自定义DAX数据计算方法。

　　❸ Power BI：强大易用的可视化工具，实现交互式数据呈现。是企业业务数据上报的优质解决方案。

　　欢迎在留言区聊天：

　　你还知道Excel还有哪些神奇的用途？

　　您最希望 Excel 具有哪些功能？

　　...