js 爬虫抓取网页数据(js爬虫抓取网页数据多页的优势在于利用html4数据)

　　js 爬虫抓取网页数据(js爬虫抓取网页数据多页的优势在于利用html4数据)

　　js爬虫抓取网页数据，网页总共500页，有限，各类数据也有区别，网页也是分为多个区域的，比如上面例子中，就会出现iframe/html等不同区域，就像我们知道的，大部分用户首页不会访问到相关信息，只能通过浏览器其它页面来爬取了，这就相当于爬虫强制访问之前的单页，单页数据量就非常有限，所以能利用iframe数据进行多页抓取已经足够了，多页的优势在于利用html4.0新标签新内容来爬取的容易性。

　　不会存在浪费html标签和内容方面的问题，单页爬取更方便用于增加单页站内容，如页数众多的站，每个页数多达数千个，但是由于蜘蛛爬取主要是爬取每个页面的内容，各个页面的内容往往会存在冗余，除了对每个页面来爬取和判断，也可以遍历数千页面的所有页面来进行处理。iframe其实应该是一个模拟页面的一个frame，但是iframe在目前有不少问题。

　　数据处理方面问题较多。首先是内容表现，iframe没有规范，一般浏览器都会有iframe的样式参数，单个iframe只支持内嵌400kb+的内容，而且样式时好时坏，复杂内容表现不好，复杂html因为宽度限制，iframe嵌套之后，页面就会变得非常大，很多做爬虫的编程人员，会发现浏览器每次都会分段处理iframe，导致表现非常差，已经支持512k字节就满足不了爬虫。

　　其次是存储，很多爬虫都是数据读写一起处理的，往往一次写入一个页面的内容到内存中，造成一个页面内容占用很多内存，影响性能。实现爬虫，就是基于页面和页面内容的设计思想，写什么页面页面，关键点就是response对象，浏览器获取页面就可以利用response对象进行爬取。就爬虫处理方面，现在很多人采用对象+数据库来存储数据，往往对象比较特殊，数据非结构化，比如很多行业名称都会用网页的class，如qa-a-blablabla，爬虫处理起来比较麻烦，很多情况不得不写完整html页面内容才能抓取。

　　有人说，我们用db存储，不就是把abc变成abc-pbc==p，和爬虫的json字符串爬取操作一致了么，不是很轻松么。当然，还是有很多人解决了这个问题，大家可以了解下这个抓取知识框架：代码和数据访问方式直接跟着那个response.json进行链接参数转换处理，要是不懂请自行阅读以下入门教程。我曾经采用python处理iframe和db2，感觉有点复杂，有没有简单的爬虫呢，我个人觉得，是有的，相信很多人都能实现，拿我的代码来举例子：frombs4importbeautifulsoupimportrequestsimportreimporttimeimportthreadingimportpandasaspdfromipython.displayimportimageimportjsonimporttimeimport。