java抓取网页内容(java抓取网页内容的抓包问题这个都可以帮你解决)

　　java抓取网页内容(java抓取网页内容的抓包问题这个都可以帮你解决)

　　java抓取网页内容，一般是https协议，全部过程可以理解为字符流格式的字节流。建议还是用一些开源的网页抓取工具，scrapy,py-dl,requests等，还可以爬爬twitter，facebook之类的。python可以完成所有的重复动作，也可以模拟登录，用户信息都是已经在服务器上的。爬爬twitter，facebook啥的，哈哈。

　　去问问pythonrequests，你要的抓包问题这个都可以帮你解决。

　　推荐pygame，可以全平台模拟手机扫描，

　　python爬虫抓包关键字获取包包含网页链接ajaxhttpserver代理

　　python可以把你要抓取的网页转成json格式再解析；就抓取网页效率而言，java要更快。现在很多web服务器都支持json。

　　我用的是lxml(浅尝辄止)。lxml解析xml可以手写解析xml。另外，对于不懂解析xml的童鞋，利用xslt也可以解析。至于python抓包，网上有很多抓包工具和插件(比如小花的。

　　把不同网站分割成比较小的component.这样每个component完成同一任务都可以利用lxml/requests这两个开源的库，比较方便。

　　python可以抓出twitter。而且，可以模拟登录这一步。代码不难写。利用xmlhttprequest。

　　获取用户名密码

　　我也在研究这些东西，感觉既然是全世界范围的数据就不存在全网了吧？我觉得主要看人家不同国家，不同语言是怎么分割的，再结合你项目要传达给用户什么吧，我个人觉得还是代码清晰和够接地气，网络通畅，便于维护比较重要。