excel自动抓取网页数据( 认识Excel的强大功能在知乎里面搜索一下Excel，想学习一些高点赞文章的写作方法 )

　　excel自动抓取网页数据(

认识Excel的强大功能在知乎里面搜索一下Excel，想学习一些高点赞文章的写作方法

)

　　

　　今天的目标：

　　认识 Excel 的力量

　　一时兴起，在知乎中搜索了Excel，想学习一些好评文章的写作方法。

　　

　　看到这些标题，完结了，顿时激起了下载采集的欲望！

　　如何捕获所有 文章 高度喜欢的？

　　当我开始时，我考虑过使用 Python。想了想，好像可以用Power query来实现，于是做了如下效果。

　　

　　在表单中输入搜索词，然后右键刷新，即可得到搜索结果。

　　

　　你明白我必须拿表格吗？

　　因为Excel可以直接按照“点赞数”排序！

　　那种感觉就像在排队。无论我在哪里排队，我都会是第一个并选择最好的！

　　

　　好了，废话不多说，我们来看看这个表格是怎么做出来的。

　　大致可以分为4个步骤：

　　1- 获取 JSON 数据连接

　　2- 处理数据的电源查询

　　3-配置搜索地址

　　4-添加超链接

　　1- 操作步骤 1- 获取 JSON 数据连接

　　通常在浏览网页时，它是一个简单的网址。

　　

　　网页中看到的数据其实有一个单独的数据链接，可以在浏览器中找到。

　　

　　我们需要的数据链接对应的是JSON格式的数据，如下所示。

　　

　　找到方法需要进入开发者模式，然后查看数据的网络变化，找到xhr类型的链接，其中之一就是数据传输连接。

　　

　　复制这个链接，这是Power query要抓取数据的链接。

　　2-电源查询处理

　　你可能不知道，除了在 Excel 中捕获数据，Power Query 还可以捕获 SQL、Access 等多种类型的数据：

　　

　　网站Data 也是其中之一：

　　

　　将我们之前获取的链接粘贴到PQ中，链接就可以抓取数据了。

　　

　　然后得到网页的数据格式。如何获取具体的 文章 数据？

　　Power Query的强大之处在于它可以自动识别json数据格式，并解析提取具体内容。

　　整个过程，我们不需要做任何操作，只需点击鼠标即可完成。

　　

　　这时候我们获取的数据会有一些不必要的冗余数据。

　　例如：thumbnail_info（缩略图信息）、relationship、question、id.1等。

　　

　　只需删除它们并仅保留所需的 文章 标题、作者、超链接等。

　　

　　数据处理完成后，在开始选项卡中，点击“关闭并上传”即可完成数据抓取，非常简单。

　　

　　3-配置搜索地址

　　但是，此时我们抓取的数据是固定的，没有办法根据我们输入的关键词进行更新。

　　这是因为数据超链接中收录的搜索词没有更新。

　　

　　所以在这一步中，我们需要配置这个数据链接，实现基于搜索词的动态更新。

　　在表中创建一个新数据，然后将其加载到 Power 查询中。

　　

　　然后获取搜索词，以变量的形式放入搜索地址中，完成搜索地址的配置。

　　

　　修改后的地址码如下：

　　 getdata = (page)=>

let

keywords = 搜索词[ 搜索词]{0},

源 = Json.Document(Web.Contents("https://www.zhihu.com/api/v4/search_v3?t=general&q="& keywords & "&correction=1&offset="& Text.From(page*20) &"&limit=20&random=" & Text.From(Number.Random))),

data = 源[data],

jsondata = Table.FromList(data, Splitter.SplitByNothing, , , ExtraValues.Error)

in

jsondata,

转换为表 = Table.Combine(List.Transform({1..10}, getdata)),

　　4-添加超链接

　　至此所有数据都已经处理完毕，但是如果要查看原创的知乎页面，需要复制这个超链接并在浏览器中打开。

　　

　　每次点击几次鼠标很麻烦。在这里，我们使用函数 HYPERLINK 来生成一个可点击的超链接，这样访问起来会容易得多。

　　

　　5-最终效果

　　最后的效果是：

　　1- 输入搜索词

　　2-右键刷新

　　3-找到点赞最高的那个

　　4- 点击“点击查看”，享受排队的感觉！

　　

　　2-总结

　　知道在表格中搜索的好处吗？

　　1- 按“喜欢”和“评论”排序

　　2-如果你看过文章，可以加一栏写笔记

　　3-您可以过滤您喜欢的“作者”等。

　　明白为什么，精英都是Excel控制的，对吧？

　　现在大多数表格用户都使用 Excel 作为报告工具，绘制表格和编写公式，仅此而已。

　　请记住以下 Excel 新功能。这些功能让 Excel 成长为一个强大的数据统计和数据分析软件，在你的印象中不再只是一份报表。

　　1- Power查询：数据整理清理工具，搭载M强大的M语言，可以实现多表合并，也是本文的主要技术。

　　2- Power Pivot：数据统计工具，可以自定义统计方式，实现数据透视表多字段计算，自定义DAX数据计算方式。

　　3- Power BI：强大易用的可视化工具，实现交互式数据呈现，是企业业务数据报表的优质解决方案。

　　3- 更多资源

　　最后，我想强调

　　我们是专业的Excel培训机构

　　秋叶Excel

　　想*敏*感*词*回答问题吗？

　　扫码添加“秋小娥”，有机会参与“秋野Excel免费专业咨询”活动，在线为您答疑解惑。

　　

　　我是会设计表格的Excel老师拉小登