java爬虫抓取网页数据(学python网页爬虫抓取网页数据第四十五天早晨分享)

　　java爬虫抓取网页数据(学python网页爬虫抓取网页数据第四十五天早晨分享)

　　java爬虫抓取网页数据第四十五天早晨分享：大牛之路：python爬虫抓取动态数据，

　　网上找找有很多新闻或者说一些真正需要的东西比如说计算机视觉计算机图形学等等有些人就是做这些相关的问题的有时候你想找的东西总会有你想要的

　　数据找厂商买买买别在乎价格

　　自己动手！学python网页爬虫吧。这应该是目前所有做爬虫技术的初学者都会想知道的了。除此之外还有很多人在爬取社交网络数据分析美女图，人物动态数据的，

　　内网互联，例如国内的qq群活动，国外是，美帝使用nsurlconnection。还有各种推论什么的，其实如果真要说这东西的话，商业级的其实大部分都在做相关的report啊之类的。

　　dropbox自己建个文件夹放下载的东西

　　先说需求，再来选择相应的技术。

　　1、首先是数据，在怎么存都一样，关键是数据的质量，如果数据质量很差，再怎么存都是无用功。

　　2、再来说需求实现，不同的存储，需要不同的技术解决，例如，url文件存储，需要flask语言和nodejs，但是nodejs很吃内存，所以还有个解决方案是把url文件存储在virtualenv上面，以及实现对app的访问。2.1如果你还想保留一些数据，包括你想爬取数据的源代码，你可以考虑bigdatasink一类的服务。

　　如果你想在浏览器访问存在服务器上的网页，可以尝试youtube的seamlessjs。2.2如果你只是想简单爬下文件或者利用requests访问文件，可以考虑nutch，beautifulsoup，pyspider等；。

　　3、python初学者，不推荐用nodejs去做，因为初学者对爬虫了解不多，容易操作错误，导致不好理解与爬取。所以python的egg，xchat，python爬虫，python数据分析都是不错的选择，java，php等语言也可以考虑。