自动抓取网页数据(网络爬虫的工作机制（详细图文）-上海怡健医学)

　　自动抓取网页数据(网络爬虫的工作机制（详细图文）-上海怡健医学)

　　网络爬虫，又称网络蜘蛛，是一种用于自动浏览万维网的网络机器。爬虫是根据一定的规则自动从万维网上爬取信息的程序或脚本。

　　它们被广泛用于互联网搜索引擎或其他类似的网站s，以获取或更新这些网站s的内容和检索方式。他们可以自动采集他们可以访问的所有页面内容供搜索引擎进一步处理（对下载的页面进行排序和排序），以便用户可以快速检索到他们需要的信息。

　　从功能上来说，爬虫一般分为三个部分：数据采集、位置？、存储。

　　02

　　爬虫如何工作

　　(1）上网的工作机制：浏览器发送请求→服务器响应→返回网页；

　　(2）把互联网比作网页，爬虫就是在网络上爬行的蜘蛛。爬虫爬到哪里，就访问网页或者获取信息。

　　03

　　爬虫步骤

　　传统爬虫从一个或多个初始网页的URL开始，获取初始网页上的URL。在爬取网页的过程中，不断地从当前页面中提取新的 URL 并放入队列中，直到满足系统的某个停止条件。

　　焦点爬虫的工作流程比较复杂。它需要按照一定的网页分析算法过滤掉与主题无关的链接，保留有用的链接，并放入等待抓取的URL队列中。然后，它会根据一定的搜索策略从队列中选择下一个要爬取的网页URL，并重复上述过程，直到达到系统的一定条件并停止。此外，所有被爬虫爬取的网页都会被系统存储，经过一定的分析、过滤、索引，以供后续查询和检索；对于重点爬虫来说，这个过程中得到的分析结果也可能对后续的爬取过程有一定的反馈和指导作用。

　　总结：

　　1. 首先选择一个精心挑选的*敏*感*词* URL 的子集；

　　2. 将这些网址放入待抓取的网址队列中；

　　3. 从待爬取的URL队列中取出待爬取的URL，解析DNS，得到主机的IP，下载该URL对应的网页，存入下载的网页库中。此外，将这些 URL 放入 Crawl URLs 队列；

　　4.解析URL队列中已经爬取的URL，分析其中的其他URL，将URL放入待爬取的URL队列，从而进入下一个循环。