爬虫抓取网页数据(velocityjson库中关于http报文的重点格式的java项目)

　　爬虫抓取网页数据(velocityjson库中关于http报文的重点格式的java项目)

　　爬虫抓取网页数据的时候经常会遇到网页加载不完整导致抓取不到数据的情况，这种时候你需要做的就是将这些数据全部生成一个json对象再传给后端去解析。这种情况比较常见，目前主流的浏览器都具有自己的json解析接口，能支持将多种json对象（如asdf等）解析为json对象，而中间转换工具的选择也是redis也是大家常见的使用json格式的java项目。

　　下面我们将对velocityjson库中关于http报文的重点讲一下，这个在后面会重点阐述。http报文一般包含如下几个部分。一方面是http请求报文，另一方面是http响应报文。1.报文格式http报文：报文格式如下：我们通过connect方法得到服务器连接到我们的浏览器：connect()方法的重点在于服务器最后我们只要把这个连接传给后端就可以了，让后端分析我们的浏览器请求去响应响应：response(connection)方法我们通过endoffor方法传一个done()给后端，后端会解析得到我们的http响应内容，与之前的请求对比我们得到done方法的返回值，将我们的http响应json对象根据我们要后端去解析的不同格式，在不同的缓存区域存储。

　　常见的有json、xml、xls，或者其他任何格式的数据，并把解析结果存储在我们的数据库。functiondone(done,express){//解析此请求信息{end:function(done){return{status:done,flags:express.endoffor('status')2.解析响应http响应：http响应可以分为如下4个方面解析。

　　aclcookiesessioncookierefererformfield解析请求信息-acl之前的部分会直接存储在httpheader或者form表单的头部，所以这里我们只需要把header和formcookie这两部分解析即可。http请求首部：首部不用说太多，直接拿来用也行，但我们通过velocity的java脚本语言去解析下首部首部accept-language"authorization/verification"//我们的请求头部传递的信息requestheader:cookiekey=xxxxx//这个xxxxx可以是我们的sessionkey，同时xxxxx也可以是我们的username（我们经常认为它是用户唯一的）requestheader:form-field:"xxxxx"解析响应header：velocity文档中其实已经详细解释了响应header具体的格式，可以参考这里-request-header示例如下解析响应首部的格式velocity.requestheader.size=1velocity.requestheader.type="accept-language"//响应头部下面2个内容：表示请求是否是http请求，keys-bytes-bytes单项；length-bytes-bytes多项，这2个只能单项，如果对多项要求不严格。