网页数据抓取怎么写(函数爬取城市指定城市名称下的代码呈现出对应内容)

　　网页数据抓取怎么写(函数爬取城市指定城市名称下的代码呈现出对应内容)

　　我一直认为，要想学好，就必须练好，所以请跟我一起学习的朋友，看完本页后，请自己写出相应的代码，并呈现相应的内容。

　　今日练习：使用自定义函数爬取指定城市名称下的天气数据。

　　爬取网址：全国空气质量指数查询-PM2.5实时地图，空气污染排名-空气之音

　　效果如图：

　　输入城市拼音，抓取城市对应的天气数据

　　---------------------------------------文章末尾给出了答案- ------ -------------------------------

　　学习完今天的内容，希望你能完成上面的爬取操作。

　　为了让大家不仅能操作，还能了解内部逻辑，所以在做爬虫操作之前，需要先学习PQ中的M函数。

　　第 1 部分：M 功能

　　1.查找M函数

　　在编辑器中输入 =#shared。可以获取powerBi支持的所有M功能，可以查看它们的使用规则等。

　　点击函数可以查看函数的定义和用法，非常方便。

　　2.写M函数

　　主要写逻辑和基本结构形式。

　　M功能是PQ中独有的，共有950多种，用于记录操作过程。方便省去繁琐的过程。

　　M 函数：=sum(A1:B2)

　　= 开头，sum() 表达式，A1 参数，：运算符

　　注意：M 函数区分大小写，每个单词的首字母大写，其余小写。

　　定义：难度高于函数，但不是编程。

　　编程：单元不断叠加，命令集合为批处理，批处理为自定义函数。多个功能组合成为一个类，多个类组合成为一个模块，多个模块组合成为一个程序，多个程序成为一个系统

　　PQ爬取网页数据第二部分

　　由于PQ类似于网页的分层嵌套方式，PQ可以作为网站来爬取数据，但是由于PQ工具有限，PQ只适合爬取以下两类页面的数据。

　　方法：使用的M函数是=Web.Page()

　　原理：截取网页的json文件信息进行分析

　　1）静态数据源，固定网址，显示固定内容，可以抓取网页上可见的表格数据。如：空气指数

　　2）动态数据源，在同一个URL下，通过不同的搜索条件可以获得不同的内容，需要是json文件传输方式。如：智联招聘或链家等。

　　------------------------------------------------ 答案揭晓------ -- --------------------------------------

　　脚步：

　　1）观察结构

　　URL的前半部分是一样的，但是不同的城市不一样，所以可以通过文本函数拼接来获取数据。

　　2）powerBI桌面中的操作如下：

　　Web.Page(Web.Contents("/air/"&cityname)){0}[数据]

　　如果还有不知道powerBI如何操作的朋友，请看下面的文章。