抓取网页新闻(Python代码的适用实例有哪些？WebScraping的基本原理步骤)

　　抓取网页新闻(Python代码的适用实例有哪些？WebScraping的基本原理步骤)

　　本文主要介绍Web Scraping的基本原理，基于Python语言，白话文，面向可爱的小白(^-^)。

　　混淆名称：

　　很多时候，人们将互联网上获取数据的代码统称为“爬虫”。

　　但实际上，所谓的“爬虫”并不是特别准确，因为“爬虫”也是分物种的。

　　有两种常见的“爬虫”：

　　网络爬虫，又称蜘蛛；Spiderbot Web Scraper，也称为 Web Harvesting；网页数据提取

　　不过，这个文章主要解释了第二种“爬虫”（Web Scraper）的原理。

　　什么是网页抓取？

　　简单地说，Web Scraping（本文中）是指使用Python代码从肉眼可见的网页中抓取数据。

　　为什么需要网页抓取？

　　因为重复性工作太多，自己做的话可能会累死！

　　代码的适用示例有哪些？比如你需要下载交易所50只不同股票的当前价格，或者你想打印出所有最新消息的头条新闻网站，或者你只是想把所有的产品在网站上列出价格，放到Excel中对比等等，可以发挥你的想象力.....

　　Web Scraping的基本原理：

　　首先，您需要了解网页在我们的屏幕上是如何呈现的；

　　事实上，我们发送了一个Request，一百公里外的服务器给了我们一个Response；然后我们看了很多文字，最后，浏览器偷偷把文字整理好放到了我们的屏幕上。在; 更详细的原理可以看我之前的博文《HTTP下午茶-小白介绍》中的书

　　然后，我们必须了解如何使用 Python 来实现它。实现原理基本上分为四步：

　　首先，代码需要向服务器发送一个Request，然后接收一个Response（html文件）。然后，我们需要处理接收到的 Response 并找到我们需要的文本。然后，我们需要设计代码流来处理重复的任务。最后导出我们得到的数据，最好是总结最后一张漂亮的Excel表格：

　　本文章重点讲解实现的思路和过程，

　　因此，它并不详尽，也没有给出实际的代码。

　　但是，这个想法几乎是网络爬虫的通用例程。

　　就写到这里吧，记得更新什么，

　　有写的地方不对的地方还请见谅！