js 爬虫抓取网页数据(什么是爬虫爬虫获取网页并提取和保存信息的自动化程序)

　　js 爬虫抓取网页数据(什么是爬虫爬虫获取网页并提取和保存信息的自动化程序)

　　一、什么是爬虫

　　爬虫是自动程序，可以获取网页并提取和保存信息。

　　1） 我们可以把互联网比作一个大网，爬虫（web crawlers）就是在网络上爬行的蜘蛛。把网络的节点比作单个网页，爬到这个就相当于访问了这个页面，获取了它的信息。节点之间的连接可以比作网页和网页之间的链接关系，这样蜘蛛经过一个节点后，可以继续沿着节点连接爬行到达下一个节点，即继续获取后续的网页通过一个网页，让整个网络的节点都可以被蜘蛛抓取，并且可以抓取到网站的数据。

　　2）虽然我们可以在不使用爬虫的情况下手动从网页中提取信息，但是如果等价物特别大或者想要快速获取大量数据，则必须使用程序。Crawler 是一个自动化程序，可以代替我们完成这项工作。可以在爬取过程中进行各种异常、错误重试等操作，保证爬取持续高效运行。

　　二、爬取过程

　　1、获取网页

　　爬虫首先要做的就是获取网页，即获取网页的源代码，然后从源代码中提取出想要的信息。

　　一般来说，如果你向网站服务器发送请求，返回的响应体就是网页的源代码。为了构造一个请求并发送给服务器，然后接收响应并解析出来，Python提供了很多库来帮助我们实现这个操作，比如urllib、request等，我们可以使用这些库来帮助我们实现 HTTP 请求操作。

　　2、提取信息

　　获取到网页的源代码后，下一步就是分析网页的源代码，从中提取出我们想要的数据。有两种提取方法：

　　3、保存数据

　　提取信息后，提取的数据一般保存在某处，以备后续使用。保存方式有很多种，可以简单的保存为TXT文本或者JSON文本，也可以保存到数据库，比如MySQL和MongoDB等，或者保存到远程服务器，比如使用SFTP进行操作。