java爬虫抓取网页数据( Python爬虫对于我来说真是个神器的人的独白！)

　　java爬虫抓取网页数据(

Python爬虫对于我来说真是个神器的人的独白！)

　　一个熟悉爬虫技术的人的独白！

　　不得不说，Python爬虫对我来说真的是神器。之前在分析一些经济数据的时候，需要从网上抓取一些数据。我想了很多方法。一开始是通过Excel，但是Excel只能从桌子上爬下来，太有限了。后来问了一个学编程的朋友，他说JavaScript也可以实现，于是董东迪就去学Java了（我朋友在学Java，我问他能不能用Java实现，他说JavaScript好像是可以的，当时我什么都不懂，所以把JavaScript理解为Java的一个分支，以为JavaScript只是ava的一个包，于是就去学了一阵子Java，无知酿成祸...）。

　　但是整个 Java 系统太大了，学不来。毕竟我只是想用一些功能，所以学完就放弃了。就在我不知所措的时候，我发现了Python......

　　废话少说，说说自己的学习经历。对于想学习Python和写爬虫的人来说也是一个参考。

　　一开始在网上找了一个基础视频来学习。Python 真的是一门简单的语言。之前对Visual Basic有所了解，感觉Python也很适合没有编程基础的人学习。

　　在介绍视频的最后，我做了我的第一个爬虫，一个*敏*感*词*图片爬虫（相信很多教程都是以*敏*感*词*爬虫为经典例子。）

　　一开始代码很简单，只能爬第一页的数据，所以加了一个循环爬取指定页数的图片。而且图片是按顺序排列的，非常方便。过滤 URL 时只需使用正则表达式。

　　但是我不经常混贴吧，也很少需要下载贴吧图片。回归初衷。我对投资感兴趣，学习编程的原因之一也是投资服务。7月份股市大跌的时候，我错过了一个明显的“捡钱”机会，不是因为我缺乏专业知识，而是因为我正在准备考试，很少去股市，这使得我不甘：如果有什么可以帮我自动爬取数据分析推送，我有如下学习轨迹：

　　一、爬取数据

　　对了，大家可以到公众号菜单栏中的学习福利去浏览。那里有一些很好的教程。Python 中 urllib 和 re 正则表达式的两种替代方法分别称为 requests 和 Ixml。

　　第一个图书馆很好。现在我在获取网页源代码时使用这个库。不明白的可以看那个网站。第二个库是因为我用的是3.4版本的Python，好久没折腾了，所以又找了一个不错的库BeautifulSoup，详细教程参考：Python爬虫介绍八：的用法美丽的汤

　　有了requests和Beautifulsoup，我基本上可以实*敏*感*词*数据的爬虫：

　　二、分析推送

　　其实这个分析也谈不上，最多是筛选。（但我相信随着我数学能力的提高，一定能有进一步的分析，祝好...） 筛选很简单，就是增加量或产量等满足一定条件，然后保留，为什么要保留它？推它 ！！！

　　通过电子邮件将保存的数据发送到您自己的邮箱，在手机上下载一个软件，您就完成了！

　　至此，学习Python的目的就达到了，鸡要炸了！！！

　　但是……这么好玩的事情怎么会这么快就结束了？让我们折腾吧！

　　三、简单的界面

　　等待！看来Python不能直接转成exe可执行文件，而且每次运行都不能打开Python窗口！你怎么能忍受强迫症！@>第四版！花了很长时间才完成，忘记它！我不知道如何订购VB，让我们使用它。所以即使是界面

　　正好能点PS，做个低级界面也不错。

　　四、云服务器

　　完成界面后，我以为结束了，我还太年轻。用了几天，发现不能天天开电脑，让它跑几个程序？必须有一个地方可以让我一天 24 小时运行这些程序。本来想用朋友的电脑轮流跑的，但是太麻烦了。我偶然发现了云服务器。了解之后，花了很多钱买了服务器（其实——一个月30个月……）

　　Toss-fan linux系统运行实现24小时实时推送。

　　而此时，我已经深深沉浸在Python中，我觉得我应该继续学习这门强大而简单的语言，在知乎上看到一个问题：Quant应该学习哪些Python知识？虽然是 Quant 但也为我指明了方向——一些方向。目前准备学习numpy、pandas、matplotlib这些库，以实现未来财经数据的可视化和分析。有一本写得很好的相关内容的书，叫做《Data Analysis with Python》，如果你有兴趣学习，可以阅读——阅读。

　　最后，如果你和我一样喜欢python，想做一名优秀的程序员，在学习python的道路上奔跑，欢迎加入python学习群：839383765 群里会每天分享最新的行业资讯和免费的python课程一天，一起交流学习，让学习成为（程序）一种习惯！