【知乎】采贝数据和去哪儿的采集技术协作过程

　　【知乎】采贝数据和去哪儿的采集技术协作过程

　　网站文章一键采集关注微信公众号：采贝数据，后台回复【知乎】，获取最新知乎每日精选。接着上篇文章，讲讲采贝数据和去哪儿的采集技术协作过程。

　　一、爬虫数据采集简单的代码：

　　1、爬虫与文章采集采贝网爬虫采集软件是定制好的脚本，可以直接采集老站一些采购、分类、产品等的信息和数据。因为有采贝网爬虫脚本的采集库，不用新建http服务器，所以采贝网的数据采集效率和大小相比其他网站来说，应该是比较优质的。采贝网采集工具实现了采贝网里面所有数据采集并且进行加密；首先我们导入采贝网中采集过来的数据url(-subdiv.html)采贝网抓取库包含商品名称、价格、数量、评论数、地址、sku、工厂名、时间、批号、数量等信息；python基础操作：采贝网采集抓取的工具：-requests-spider其中requests库函数采集的数据是post格式，而spider库函数采集的数据则是post提交到浏览器，然后浏览器解析。

　　采贝网的采集是单文件形式，我们以商品名称，价格，数量，评论数，地址，sku，工厂名，时间，批号等为关键字进行抓取。

　　2、爬虫数据采集部分首先采贝网数据爬虫采集是有js控制的，所以采贝网会把所有http请求里面的js脚本进行数据保存，再次访问时，会自动抓取数据。我们只需要把爬虫部分里面数据抓取的js脚本做好保存，然后再对数据存储进行解析即可。爬虫部分：采贝网爬虫部分因为采贝网抓取的工具是基于session进行的，需要先创建一个session，然后在http请求里面使用session对象（实例一个session对象，向服务器发送多个post请求，每次接收一个请求），对post请求的响应是一个字典（json数据格式，相比java中的json来说更为简洁），利用这个字典来存储，然后直接遍历每个request，获取每个response返回的对象，把自己需要的字段提取出来，利用解析重定向得到结果即可。

　　数据存储部分：每个request都会给一个ip地址，我们在all获取数据的时候，可以设置一个all获取全局的request地址，在从服务器拿数据的时候，用这个ip地址从某个request中拿取数据。利用json格式，直接得到一个字典（针对数据多次请求时，可以直接根据字典比较方便的找到数据；对于ip地址不清楚的，可以建立子字典，分别拿每个request地址拿取出对应数据）。

　　如图：数据提取部分：数据提取部分上面第二步，可以直接把爬虫抓取的js脚本，用http请求传到服务器里面，之后还需要解析出返回的响应。同时对服务器中得到的dom还需要遍历来拿取数据。利用json格式字典，直接提取出响应数据即可。

　　二、采贝网