excel自动抓取网页数据(你能明白我一定要抓到表格里吗？Powerquery处理你可能不知道)

　　excel自动抓取网页数据(你能明白我一定要抓到表格里吗？Powerquery处理你可能不知道)

　　一时兴起，在知乎中搜索了Excel，想学习一些好评文章的写作方法。

　　看到这些标题，完结了，顿时激起了下载采集的欲望！

　　如何捕获所有 文章 高度喜欢的？

　　当我开始时，我考虑过使用 Python。

　　想了想，好像可以用Power query来实现，于是做了如下效果。

　　在表单中输入搜索词，然后右键刷新，即可得到搜索结果。

　　你明白我必须拿表格吗？

　　因为Excel可以直接按照“点赞数”排序！

　　那种感觉就像在排队。无论我在哪里排队，我都会是第一个并选择最好的！

　　好了，废话不多说，我们来看看这个表格是怎么做出来的。

　　大致可以分为4个步骤：

　　获取JSON数据连接；

　　电源查询处理数据；

　　配置搜索地址；

　　添加超链接

　　01

　　脚步

　　获取 JSON 数据连接

　　通常在浏览网页时，它是一个简单的网址。

　　网页中看到的数据其实有一个单独的数据链接，可以在浏览器中找到。

　　我们需要的数据链接对应的是JSON格式的数据，如下所示。

　　找到方法需要进入开发者模式，然后查看数据的网络变化，找到xhr类型的链接，其中之一就是数据传输连接。

　　复制此链接，这是 Power 查询将获取数据的链接。

　　电源查询处理

　　你可能不知道，除了在 Excel 中捕获数据，Power Query 还可以

　　您还可以抓取多种类型的数据，例如 SQL 和 Access：

　　网站Data 也是其中之一：

　　将我们之前获取的链接粘贴到PQ中，链接就可以抓取数据了。

　　然后得到网页的数据格式。如何获取具体的 文章 数据？

　　Power Query的强大之处在于它可以自动识别json数据格式，并解析提取具体内容。

　　整个过程，我们不需要做任何操作，只需点击鼠标即可完成。

　　这时候我们获取的数据会有一些不必要的冗余数据。

　　例如：thumbnail_info（缩略图信息）、relationship、question、id.1等。

　　只需删除它们并仅保留所需的 文章 标题、作者、超链接等。

　　数据处理完成后，在开始选项卡中，点击“关闭并上传”即可完成数据抓取，非常简单。

　　配置搜索地址

　　但是，此时我们抓取的数据是固定的，没有办法根据我们输入的关键词进行更新。

　　这是因为数据超链接中收录的搜索词没有更新。

　　所以在这一步中，我们需要配置这个数据链接，实现基于搜索词的动态更新。

　　在表中创建一个新数据，然后将其加载到 Power 查询中。

　　然后获取搜索词，以变量的形式放入搜索地址中，完成搜索地址的配置。

　　修改后的地址码如下：

　　getdata = (page)=> let keywords = search term [search term]{0}, source = Json.Document(Web.Contents(""& keywords & "&correction=1&offset="& Text.From(page*2< @0) &"&limit=20&random=" & Text.From(Number.Random()))), data = source[data], jsondata = Table.FromList(data, Splitter.SplitByNothing(), null, null, jsondata 中的 ExtraValues.Error)，转换为 table = Table.Combine(List.Transform({1..10}, getdata))，

　　▲ 左右滑动查看

　　添加超链接

　　至此所有数据都已处理完毕，但如果要查看原创知乎页面，则需要复制此超链接并在浏览器中打开。

　　每次点击几次鼠标很麻烦；

　　这里我们使用 HYPERLINK 函数来生成一个可点击的超链接，这使得访问变得更加容易。

　　最终效果

　　最后的效果是：

　　输入搜索词；

　　右键刷新；

　　找到点赞最多的；

　　点击【点击查看】，享受插队的感觉！

　　02

　　总结

　　知道在表格中搜索的好处吗？

　　按“喜欢”和“评论”排序；

　　如果你看过文章，可以加栏写笔记；

　　您可以过滤您喜欢的“作者”等。

　　明白为什么，精英都是Excel控制的吧？

　　大多数电子表格用户仍然使用 Excel 作为报告工具、绘制表格和编写公式。

　　请记住以下 Excel 新功能。这些功能让Excel成为了一个强大的数据统计和数据分析软件，不再只是你印象中的报表。