java爬虫抓取网页数据(大数据java爬虫抓取网页数据的有效评论统计原理是什么？)

　　java爬虫抓取网页数据(大数据java爬虫抓取网页数据的有效评论统计原理是什么？)

　　java爬虫抓取网页数据，封装在spring-boot里面。去年的时候写了一个叫【掘金】的日志爬虫，抓取了多个知乎用户的多篇文章的有效评论。大概就是抓取作者的简介、收藏等，然后把评论者的数据列出来，等同于爬虫抓取评论统计的原理。目前当然可以开发一些辅助类库，在大数据的辅助分析中做用。从去年到现在一直在深入研究java基础，从http请求、表单元素，再到对象、多线程、redis、设计模式等等，跟着语言本身的一些机制也做了很多实验。

　　今年开始研究爬虫的容器，结合springboot，写了三个stark在去年的某一个项目里。其中两个用到了springboot的依赖注入，一个用到了spring的xmlhttprequest。还结合elk实验，写了elk系列的project，也写了用到了springboot的stark配置，感兴趣的可以去探索下。

　　使用springboot可以快速开发多个项目，搭建restful服务集成一些模块，搭建springcloud，跑了下stark的demo服务。stark实例，数据均来自于github评论者的有效评论，共三十三页。项目地址：，首发于微信公众号：面向对象之禅。感兴趣的话，也可以来微信公众号和我聊聊。

　　springboot本质是基于spring的开发框架，并在上面实现各种开发工具，比如springdatalibrary的jpa、springmvc、druid等，比如，除了用spring开发控制器和处理器映射之外，还可以通过druid来构建日志，异常，注解等模块。在springboot的语境下，pom.xml的主要作用是管理依赖，负责构建需要的spring、pom、java、python、jar包。

　　所以pom.xml有相应的stark模块加载，可以把springboot框架相关依赖发布到pom.xml中的commons-language-processor-pom.xml文件，供springboot集成使用。当然，如果不依赖spring，建议可以在spring框架的pom.xml中不加配置直接写pom.xml就好。

　　项目实战框架的基本配置，简单一点的有commons-lang、spring-boot-stark、error等。复杂一点的，比如，commons-lang可以包含spring容器、事务、xml、redis等，而且官方也提供了springboot的快速编译工具。error允许在定义的commons-lang-processor-pom.xml中使用pom.xml中定义的异常代码块/dogethandleresultparams等；pom.xml中还定义了非常多的模块和依赖，建议直接导入pom.xml即可。等等等等，有空继续填坑。