java爬虫抓取网页数据实现微信公众号网页抓取的方法

　　java爬虫抓取网页数据实现微信公众号网页抓取的方法

　　java爬虫抓取网页数据实现微信公众号网页抓取的方法用java如何模拟登录网页，

　　推荐你看一篇博客：实现一个微信公众号网页抓取系统架构

　　搜索node.js，

　　web前端可以利用ajaxserver来将微信网页上的数据抓取下来，

　　mongodb足够大的数据量用数据库会比较好，或者像tb级别的数据建议用sqlite，至于解析的，

　　java的话，foresquid很好用，但是据说目前foresquid定位时轻量级facebookwebscraper，至于开发原理，建议阅读foresquidinterfacenotes这篇文章。

　　我们项目就是java实现抓取微信公众号文章，类似requests。facebook用websocket。数据自己封装成python对象。目前重点抓微信文章(因为关注一个公众号就需要关注他的公众号这一步)，至于开发环境，看官方文档即可。

　　搜索html5,jsextension,能看懂别人写的写的demo,再上api试试！

　　nodejs.

　　java有websocketinterface，

　　elxiwiki

　　我学的是nodejs，里面封装了forward功能可以直接连接，所以不需要封装客户端也可以做；应该用了一些websocket的框架做了实现。