浏览器抓取网页(浏览器抓取网页数据包需要借助网页解析服务器的方式)

　　浏览器抓取网页(浏览器抓取网页数据包需要借助网页解析服务器的方式)

　　浏览器抓取网页数据包需要借助网页解析服务器，网页解析服务器负责处理数据包，提供web接口，将数据发送给浏览器，我们可以使用extjs、jsplite、magentomysql、php等。网页解析服务器一般部署在物理机服务器上，也有部署在云服务器上的。中间件编程是指应用程序通过中间件与本地应用程序进行交互，中间件把api对外暴露给应用程序，进行数据的封装，然后把返回结果发送给应用程序。

　　我们可以用到extjs、swoole和redis。extjs是一个轻量级的html5开发框架，拥有三种模版语言（jsp，asp，php）和mvc的架构框架。它提供了单页应用程序模型、express、netty、ci、contenttypes、zendframework、httpclient、httpcookie，然后通过浏览器集成了mysql。

　　mvc是model-view-controller的缩写，指的是view层把控制层的代码负责转换为视图层的可读可写代码。mvc中控制层相当于第一层，就是view层，控制层将数据库、中间层、php封装起来就是基于单页应用程序模型建立的数据访问层。它和swoole有一些像。swoole是基于php的，所以拥有很多php的特性。

　　swoole模拟并发网络io线程，可以增加php的并发能力，也可以用于扩展php的性能。另外swoole还可以实现异步io模型。redis是一种基于python的键值存储系统，因其非同步、高可靠的特性而被广泛使用，尤其适合作为分布式系统的键值存储，在健壮性、速度、可伸缩性等方面性能优于memcached和redis。

　　extjs、magento和swoole在国内一般部署在云服务器上。基于云服务器的方式大致如下：1）直接部署在云服务器上：ubuntu18.04+php7.2+tomcat6+extjs3.x+magento4.x+submailorrails3.x+extjs4.x等2）间接部署在云服务器上：php7.2+tomcat6+extjs3.x+magento4.x+rails4.x等数据库方面：oracle,mysql,mssql。

　　我们在建立分布式平台时，可以使用分布式编程框架(cdh,nginx等)，做数据访问层和存储层操作，保证分布式平台可伸缩性。上篇介绍过，如果上传图片，涉及到要进行图片的加密分发。spark或springcloud集成分布式图存储(edh)，实现分布式图存储，是目前很实用的一个平台。edh分发支持并发上传图片，且支持api伸缩，通过spark来访问分布式图数据。

　　mysql连接性能还是比较差，分布式处理相比较其他数据库还是有很大差距。druid是一个传统的关系型数据库查询工具，用于构建、连接数据库表中不同类型的查询子集。优点在于架构简单，可以构建一个简。