网页数据抓取软件(网页数据抓取软件|requests-javascript数据采集浏览器的应用)

　　网页数据抓取软件(网页数据抓取软件|requests-javascript数据采集浏览器的应用)

　　网页数据抓取软件|requests-javascript数据采集requests一直都是最受欢迎的网页数据抓取软件，源于“webfuckinglove”。而最近谷歌发布了requests的3.1版本，到了2018年7月更是比3.0版本升级了5次，再次改变了网页抓取的工作方式。requests作为一个数据抓取工具来说，有两个最基本的优点：抓取方便（输入url直接返回html文件）代码写起来简单。

　　上一期文章我们从工程实践的角度，对requests作为抓取任何网页内容的网页数据采集工具进行了分析。本期文章，我们从网页爬取的角度，对requests进行分析。工程实践我们用这两种方式，从手机浏览器访问网页抓取（谷歌和百度），使用抓取网页数据放到网站上进行分析，并得到结果。1.手机浏览器抓取通过上一节的阅读，大家可能已经发现，无论从网页抓取的角度还是从网页抓取的数据分析，requests已经足够强大。

　　但在采用这种方式采集网页内容之前，我们还需要一定的环境支持。目前我们先来讲解一下爬取网页的javascript代码。下面我们先看一下网页源代码的构成，这里为了分析方便，我们采用requests爬取网页内容我们需要用到浏览器的chrome浏览器,浏览器的firefox浏览器和谷歌浏览器（本文需要的版本为chrome92.8.15261和firefox34.x）。

　　首先，我们复制我们需要的网页url到javascript代码文件，并加上“#javascript”关键字。我们可以看到，采用采用scrapy框架的网页数据抓取方法已经是最大的优势了。现在我们依次浏览本网页，看到左上角有百度的手机搜索页，继续访问看到手机搜索页有按钮，我们用requests采集这个按钮的response。

　　我们只采集“#smartbutton”处的response，其余处需要用到javascript代码进行抓取。大家可以通过这个代码展示，整个网页抓取的流程。我们将通过下面的代码，展示如何用requests抓取页面内容并保存到本地。对应这种方式爬取网页，我们仅要采集我们想要爬取的部分内容，那么我们需要将我们需要爬取的网页页面连接和url连接到一起，我们使用bs4可以方便的进行组织连接。

　　另外我们选用此种抓取方式，网页有一定的转码要求，在开始前我们需要将“#smartbutton”页面的中间的，替换为“placeholder”的url。连接完毕后，我们查看cookie是否有效，只要发现网页被判断为伪装即将采集，我们将断网等待，恢复网络之后，我们依次访问右上角的搜索页。看到右上角的百度logo。

　　scrapy框架本身已经为我们提供了requests库，requests函数已经写好，我们只需要调用它进行采集即可。此处的登录。