excel抓取网页动态数据(找个星座分析的网站试试,看看能不能抓数据(组图) )
优采云 发布时间: 2022-01-04 14:02excel抓取网页动态数据(找个星座分析的网站试试,看看能不能抓数据(组图)
)
#星座分析组#
头条活动星座分析群,我们找个星座分析网站试试看能不能抓到数据。
就是这样,图片看起来很可爱。
网站分析
网站 保护做得好,没办法看到数据,只能从网站分析入手。
一般来说,网站 可以通过一些查询参数进行查询。我们编写查询函数来捕获数据。一些网站有静态URL,我们可以直接根据显示的静态URL来判断。来抓。
这种爬取是最简单的,但也是最麻烦的,因为它依赖于html代码从代码中寻找需要的数据。
上图中提供了各个星座的url,以及对应的运势查询。我们要做的就是复制上面两段代码,准备爬取,提取星座url和财富url。
像这样的东西:
也:
这个过程是最基本的文本处理。首先使用Web.BrowserContents函数读取html文本,然后拆分我们想要的那段代码,就可以使用Text.Split函数了。您还可以将所需的代码片段直接复制并粘贴到 html 文本中。
Power Query 在这一点上更好。可视化操作。为了稍后自动刷新数据,我们必须区分数据是否为常量。如果是常量,我们可以复制粘贴。如果有变化,最好从头开始使用Functions和公式,以确保刷新数据时不会出现问题。
我们只想要一些文本,所以直接使用html表单。
Html.Table(Web.BrowserContents([url]&[u1]), {{"Column1", ".c_cont STRONG"}, {"Column2", ".c_cont SPAN"}}, [RowSelector="P"] )
无需定义函数,直接添加一列即可抓取。
抓
经过上面的分析,我们直接使用自定义列来抓取数据:
你会说Html.Table函数的参数写不出来,其实我不会,这个没关系,你可以尝试抓取一个页面,让向导自动生成,然后我们复制超过:
然后看代码:
我们可以将前两行合并为一行。
最后,我们看一下捕获的数据:
同样的,我们可以试着把握明天的运势,一周的运势等等,这里就不做示范了。
最后,我们来做一个可视化的图表来看看: