数据爬虫:AJAX与网页动态加载 | R语千寻
优采云 发布时间: 2022-05-05 10:22数据爬虫:AJAX与网页动态加载 | R语千寻
很多了解R语言数据抓取的读者可能已经听说过rvest包。rvest包作为一款简单易用的R爬虫包(在后文中会详细介绍),对静态网页的抓取非常适用。但对于有些会“动”的网页来说,rvest就不再有效了。
究其缘由,还是在于有些网页的HTML/HTTP基础架构在一个页面布局中静态地显示内容,但是如果用R函数来解析知乎首页,那么能通过这个首页实现抓取目的吗?答案当然是不能的。因为知乎URL是一个动态网站(DHTML),具体表现就是从首页不断下拉,网页内容在不断变化但URL却一直都是,或者是点击了某个地方内容也发生了变化,但地址栏中,URL依然没有变化。对这样的网页进行抓取就不能按照以前的简单套路操作。
网络技术实现从静态到动态转变的一个关键角色是汇总于AJAX这个术语下的一组技术。所谓AJAX,全称为异步JavaScript和XML(Asynchronous JavaScript and XML),它是一组技术,不同的浏览器有自己的AJAX实现组件,有了AJAX技术之后,就不需要对整个网页进行刷新了,局部更新既不占用宽带又可以提高加载速度。比如说知乎首页,要看新内容,不断把网页下拉自动加载即可。
01
从HTML到DHTML
JavaScript号称最流行的Web编程脚本语言,我们不需要了解它的细节,因为这并不妨碍网络数据抓取的需要。前文提到过,HTML、CSS和JavaScript是前端技术的三驾马车,其中,JavaScript主要起到一些效果渲染的作用。要认识原生的JavaScript,重要的是了解其对于HTML的三种改进方法:
(1)以HTML中的