网页抓取数据百度百科(requestheaders属性简介及案例分析（一）)

　　网页抓取数据百度百科(requestheaders属性简介及案例分析（一）)

　　2、服务器返回加密公钥，通常是SSL证书；

　　3、客户端从SSL证书中解析公钥，随机生成一个密钥，用公钥加密密钥并发送给服务器（这一步是安全的，因为只有服务器有私钥才能读取钥匙） ;

　　4、服务器通过私钥解密密钥；

　　5、客户端使用这个密钥对需要传输的数据进行加密；

　　6、服务器使用密钥解析数据。

　　(三）在网页请求和返回

　　打开任意网页，F12，选择Network，清除刷新，会出来一系列请求数据。

　　

　　headers是网络协议请求和对应的core，承载着客户端浏览器、请求页面、服务器等信息。

　　请求头可以理解为用于在请求消息中向服务器传递附加信息，主要包括客户端可接受的数据类型、压缩方式、语言，以及客户端计算机上保留的信息和来源发出请求的超链接的地址。下面是对请求头属性的介绍：

　　

　　请求头属性介绍

　　响应头可以理解为服务端在http请求中传递给浏览器的附加信息，主要包括服务端传递的数据类型、使用的压缩方式、语言，以及服务端的信息和响应请求的时间。以下是响应属性：

　　

　　响应头属性介绍

　　页面数据的获取其实就是客户端向服务器发送请求，服务器根据请求返回数据的过程，这也是爬取数据的基本原理。

　　

　　(四）ForeSpider爬虫工作流程

　　1.获取网页数据

　　爬虫的获取页面其实就是获取网页的源代码，然后从中提取出我们想要的数据。

　　ForeSpider爬虫工具已经构建了爬虫的脚本框架。只需要按照手动点击进入页面的流程，在爬虫软件中进行配置和体现即可。

　　案例一：采集凤凰日报

　　手动：打开网站→点击新闻列表中的一条新闻→打开新闻查看数据。

　　爬虫：创建任务→提取新闻列表链接→提取数据。

　　如下所示：

　　

　　创建任务

　　

　　提取列表链接

　　

　　检索数据

　　案例2：采集孔子旧书网所有类别的第二本书信息

　　手册：选择图书分类→点击某一分类图书列表中的图书→打开图书界面查看数据。

　　爬虫：提取所有类别链接→提取一个类别的所有列表链接→提取数据。

　　

　　提取所有类别链接

　　

　　提取类别中的所有列表链接

　　

　　提取产品数据

　　

　　提取结果显示

　　2.采集数据

　　配置爬虫后，点击开始采集。以案例2为例，如下图所示：

　　

　　数据采集接口

　　

　　采集 收到的数据

　　3. 导出数据

　　采集完成数据后，可以直接将数据导出为csv/excel格式。

　　

　　导出数据

　　

　　导出的数据表