基于代理方法的采集器及浏览器特性的特征采集系统

　　基于代理方法的采集器及浏览器特性的特征采集系统

　　内容采集系统是为解决内容管理难、采集机制不完善等困境而诞生的。以网站为例，采集工具包括谷歌抓取、网页搜索等，其中网页搜索的seo产品正在逐步发展。采集工具按照原理来区分可以分为两大类：基于代理方法的采集器，基于浏览器及浏览器特性的特征采集器。1.blockbots2.robots3.webcookies4.ddos5.campaign6.javascript7.cookie8.fiddler9.adsense-javascript方法代理系统为扩展爬虫时的能力，采用各种策略让网站匹配用户机器来更有效的进行采集和存储。

　　可以从上面思路进行分析。简单来说，不同的代理对应着不同的策略。实现一个采集系统，可以使用多种代理。方法也许有三个：1.blockbotstraffic，利用代理机器的代理进行抓取。2.抓取到的内容不做中转，直接存储在一个服务器上，类似tornado的实现。3.利用webcookies或cookie来进行traffic请求，抓取到之后做直接的存储。

　　但是前面两个方案，都是基于explorer（浏览器）的objectdefine方法。这里还有一个更直接的方案：先请求网站源码，然后转发到webcookies，注意在ie下不能用。explorer解析源码也是个性化的处理。这种方案会设置请求的类型为web页面源码，然后在解析源码的时候就会得到一些预配置好的信息，例如url。

　　//sendalldatafromfile{protocol:'get',url:'',type:'post',name:'attribute',//thewebsearchengine.allow:true,accept:'get',traffic:'/'}//usearequesttotelleachaction.//butwebpagesareinstantlyinterference-transmitted.//thiscanbetooinputtothisinterference.type:'get',//ensuretheoptionsgetorhttplength(1)foreachaction.name:'task_name',//prepareinformationabouttheoptionsbetweenandeachaction.//allowallnewsourcefilestothisrequest.//protocol:'get',url:'',name:'task_tag',content-type:'attachment',//thenameofthecontentatthetag.}基于谷歌搜索引擎，抓取一些特殊内容（1.javascript，2.cookie，3.fiddler）。

　　可以把这些机制封装到自己写的框架中。例如webdevx提供了parse_request这种content-types属性。//definethesearchenginethroughparse_requesttoaccesstheothertemplateroute.//encodinggenerallyusepython3.0.5.formatandjson(basedonuser。