网页中flash数据抓取(搜索引擎（蜘蛛）是抓取来抓取网页的，基础流程或原理什么？)

　　网页中flash数据抓取(搜索引擎（蜘蛛）是抓取来抓取网页的，基础流程或原理什么？)

　　搜索引擎（蜘蛛）爬取网页爬取，基本流程或原理是什么？

　　一、抢

　　搜索引擎发出一个程序，可以在 Internet 上发现新的网页和爬取文件。这个程序通常被称为蜘蛛。各大搜索引擎的蜘蛛都有自己的名字，谷歌蜘蛛：Googlebot 百度蜘蛛：Baiduspider 360蜘蛛：360Spider 搜狗蜘蛛：搜狗网络蜘蛛Spider

　　首先，跟随网页中的超链接和外部链接，从这个网站爬到另一个网站，跟随网页中的链接，从网页中发现和访问更多的网页，在互联网采集中发现将这些网页上的大量信息从互联网上采集到自己的临时数据库中，就是一个叫做爬取的过程。

　　在爬虫爬取过程中，首先要访问的是网站根目录下的robots.txt文件。这个文件是网站主要设置蜘蛛爬取目录权限的文件，所以非常重要，不能设置错误。，蜘蛛“挡在门外”将无法爬行。另一篇文章解释了 robots.txt 文件的详细设置。

　　在爬取过程中，搜索引擎蜘蛛一般有两种策略：深度爬取和广度爬取

　　深度爬取就是进入你的首页，到栏目A，然后抓取你的内容页。爬取完成后，返回爬取平行栏页面B，然后进入下方的内容页面。

　　广度爬取是先爬取首页，再爬取各栏目页面，最后爬取各栏目下的内容页面。

　　通常老网站多是深度爬取，因为栏目比较固定；新站点大多范围广泛，蜘蛛可以判断站点的类别和网站的主题内容。

　　建站注意：不利于蜘蛛抓取和识别的内容

　　1.网站使用js、flash、iframe框架（多级）、嵌表、需要登录的页面不利于蜘蛛爬取，尽量避免。

　　2.图片太多（加alt属性辅助识别）

　　3.服务器保持稳定，不要每三天开一次网站，那你就不用玩什么了。

　　二、分析过滤

　　为避免重复爬取、爬取网址，造成过多垃圾，影响用户体验，搜索引擎在爬取后会通过各种算法过滤所有网页，过滤掉一些作弊的网站，比如低质量的内容页面，或者非法内容，或大量采集，文字不是标题，对用户没有价值的内容将被降级丢弃，高质量的网站和信息页面将被提取并显示到数据库中。

　　三、存储库索引

　　搜索引擎将对信息进行高质量的提取和整理，建立索引库。当用户搜索哪个关键词时，只需要在存储索引数据库中搜索即可。

　　众所周知，搜索引擎的索引库是分层的。高质量的网页将分配到重要的索引库，普通网页将留在普通库，较差的网页将分配到低级库作为补充资料。目前60%的检索需求只需要调用重要的索引库就可以满足，这就解释了为什么有些网站的收录的高流量并不理想。

　　那么，哪些页面可以进入优质索引库呢？其实，总的原则是一个：对用户有价值。包括但不仅限于：

　　1.及时有价值的页面：在这里，及时性和价值并列，两者都缺一不可。有些网站为了生成时间敏感的内容页面做了很多采集的工作，导致一堆毫无价值的页面，百度不想看到。

　　2、内容优质的专题页：专题页的内容不一定是完全的原创，也就是可以很好的融合各方的内容，或者添加一些新鲜的内容，比如观点、评论等，给用户更丰富、更全面的内容。

　　3、高价值的原创内容页面：百度将原创定义为花费一定成本、积累大量经验后形成的文章。永远不要再问我们是否 伪原创 是原创。

　　4.重要的个人页面：这里只是一个例子，科比在新浪微博上开了一个账号，他需要不经常更新，但对于百度来说，它仍然是一个非常重要的页面。

　　四、印象排名

　　数据采集​​结束后，接下来要做的就是排名。那么，在数以亿计的网页中寻找特定的关键词，就像大海捞针一样。在如此庞大的数据中完成搜索可能需要很长时间，但用户已经等不及了。从用户体验的角度出发，一定要在毫秒级给用户满意的结果，否则只会流失用户。怎样才能满足这个要求？事实上，百度在建立指数数据库时就已经对排名进行了排名。主要机制是：根据用户的搜索词进行分词。分词有一个页库。当用户搜索单词时，会直接从这个页库中搜索，从而可以快速展示在网友面前。页库会根据词条热度、新页面添加量等因素进行重新排名。当然，本次更新是有一定时间的，并不是每分每秒实时更新一次。因此，即使新站是收录，也不能立即上榜；网站按K排名会掉得很快，哈哈。此外，如果将 网站 替换为 关键词，在搜索词中的索引数据库更新之前，仍会显示使用旧的 关键词 进行搜索。

　　总之：

　　当我们在搜索引擎中看到的只是一个结果时，搜索引擎会根据信息的有效性、原创信息的属性和识别度、网站自重和其他综合算法。对搜索用户的搜索进行统计，最后根据用户的搜索习惯给出相应的结果。