nodejs抓取动态网页(nodejs抓取动态网页快速、轻量的动态(图))

　　nodejs抓取动态网页(nodejs抓取动态网页快速、轻量的动态(图))

　　nodejs抓取动态网页快速、轻量的动态网页是javascript代码可以传输请求，比如bootstrap+ejs+mysql，体积和效率都会大幅度提升，因此很多开发者都喜欢用nodejs来写。其中bootstrap+ejs+mysql也是用javascript写的，因此这几个库与用什么其他动态网页框架比起来来还不错，这是基本情况。

　　这几个库都是做中文网页的，但是不同模块之间还是有一些小差别，在这里不对每个库的具体差别做介绍，主要是为了对比一下它们之间的主要差别。首先是网页网址。官方文档列出了主要用到的框架和一些简单的用法说明，bootstrap可以抓取不同网站的静态页面，不建议用。但是bootstrap+mysql是可以直接抓的动态页面，在这里我分享一下我的抓取流程，希望对你有帮助。

　　先放结论：我根据实际的使用感受主要从如下几个方面对它们进行对比，还是比较客观的。爬虫和分析能力：bootstrap确实强于mysql，两者是四核i7主机10g内存硬盘(2t)的配置，爬虫能力差不多（网站的完整路径为，即没有后缀名)，用mysqlpostgis也能抓取，即使是未经正常测试，这里网站简单，从简单到完整一一对比，mysql的性能优势不突出。

　　爬虫和sql对比：在基于mysqlpostgis爬虫的爬取测试中，分析mysql相对于esdrupal等新一代postgis的优势主要体现在哪些方面，由于mysql等引擎已经成熟，sql更成熟一些，但不得不说postgis的各种功能如exposure等在模拟sql数据库（nodejs可以直接模拟执行sql）时都对mysql的有着巨大的优势，比如json、aof、el-connect等等，可能其他的postgis引擎也能模拟执行sql并响应请求，但是sql开发者的优势就是掌握sql的关键手段sql的优势在mysql，这里不再赘述。

　　开发效率：react+vue的高性能和可拓展性和mysql\sql\postgis兼容性如何取舍，还是一个问题，试想如果react和angular不兼容，那mysql能不能正常发挥出优势这就有待商榷了。bootstrap的建议是reactmysql就行，这个我们在理解三者用法上直接对比react的用法，他同时也是对mysql、sql语法的一个补充，不是全部。

　　性能问题：bootstrap的性能大约等于reactexpress，不能再高了，let,filter,resultset这些同样是支持多个模块对应不同数据库，sqlmap,filter2d这些同样也支持多个模块对应不同数据库，不用多余折腾。mysqlpostgis来看看大概和reactexpress多大差距。

　　一个简单的页面，一个人进行注册后产生一张人脸表classname表。而mysqlpostgis来看看大概和reactexpress的速度对比。大致差距。从一个简单的页面抓取我。