c 抓取网页数据(搜索引擎第一部分：蜘蛛爬行与抓取是搜索引擎工作的第一步)

　　c 抓取网页数据(搜索引擎第一部分：蜘蛛爬行与抓取是搜索引擎工作的第一步)

　　搜索引擎是利用特定的计算机程序从互联网上采集

信息，组织和处理信息，为用户提供检索服务，并向用户展示与用户检索相关的相关信息的系统。

　　搜索引擎的工作过程是：蜘蛛爬取和爬取、索引、排序。今天给大家讲讲第一部分：蜘蛛爬行和爬行。爬取和爬取是搜索引擎工作的第一步，完成数据采集的任务。

　　（1）蜘蛛程序：用于抓取、抓取和访问页面的程序，也称为机器人（bot）。当蜘蛛访问任何网站时，它首先会检查网站根目录下的robots.txt文件。网站。

　　（2）跟踪链接：搜索引擎蜘蛛会跟踪页面上的链接，从一页到下一页，有两种：一种是深度优先，一种是广度优先。

　　（3） 吸引蜘蛛：高权重的网站和页面；新鲜的页面内容（原创内容）；导入链接；靠近首页的页面。

　　（4）地址库：人工输入*敏*感*词*站；蜘蛛爬取的链接地址；站长主动提交的网站（搜索引擎喜欢自己发现新链接）

　　（5）文件存储：根据不同的URL编号，将抓取的html数据存入数据库。

　　（6）内容检测：蜘蛛在爬行爬行时，会进行简单的重复内容监控，如果在低权重的网站上遇到不健康的内容，可能不会继续爬行。

　　其中，一个新网站建起来的第一件事就是被搜索引擎收录。第一个条件是被添加到搜索引擎的域名列表中。通常有3种方法：

　　A、使用搜索引擎提供的网站登录入口主动向搜索引擎提交网站域名。

　　B. 通过与外部网站建立链接关系。

　　C. 提交站点地图站点地图。

　　为了抓取更多的网页，搜索引擎还允许站长主动提交页面。站长只需将网站中心页面的URL按照指定格式制作成文件提交给搜索引擎即可。搜索引擎可以使用该文件对网站中的页面进行抓取和更新。

　　搜索引擎的爬取和爬取简单的说就是搜索引擎蜘蛛通过跟踪链接访问页面，获取页面的html代码并存入数据库，用于后续的索引和排名程序。