如何抓取网页flash(搜索引擎的工作原理可以分为三个阶段：（1） )

　　如何抓取网页flash(搜索引擎的工作原理可以分为三个阶段：（1）

)

　　搜索引擎的工作原理大致可以分为三个阶段：

　　

　　（1）爬取：

　　

　　即搜索引擎蜘蛛通过跟踪链接地址访问网站页面，并将获取到的网站页面html代码放入自己的数据库中。

　　爬取和爬取是搜索引擎工作的第一步，主要完成数据采集的任务；

　　解释几个关键词：

　　1.蜘蛛：

　　（1）定义：我称它为爬取网页数据时的执行器，其实它是一个计算机程序，因为工作过程与真正的蜘蛛非常相似，专业上称之为搜索引擎蜘蛛！

　　(2）工作过程：蜘蛛程序向网站页面发送访问请求，服务器会返回HTML代码，蜘蛛程序将接收到的代码存入原页面的数据库中。蜘蛛访问任何网站时，都会先访问网站根目录下的robots.txt文件！如果robots.txt文件禁止搜索引擎抓取某些文件或目录，蜘蛛会遵守通过这些禁止协议，不会抓取那些被禁止的 URL。

　　(3）常见的搜索引擎蜘蛛名称：

　　百度蜘蛛、雅虎中国蜘蛛、谷歌蜘蛛、微软必应蜘蛛、搜狗蜘蛛、搜搜蜘蛛、有道蜘蛛等等！

　　2.以下链接

　　每个人都知道整个互联网是由链接的 网站 页面组成的！页面和页面通过链接链接。为了更快地采集网站数据，搜索引擎可以使用搜索引擎蜘蛛来跟踪网站页面上的链接，从一个页面爬到下一个页面！这个过程就像蜘蛛在蜘蛛网上爬行一样！这样，蜘蛛就可以快速爬取互联网上的整个网站页面！

　　

　　根据网站链接结构的不同，我们可以将蜘蛛爬行路线分为深度爬行和广度爬行两种

　　A：深度爬行：蜘蛛沿着找到的页面链接向前爬行，直到前面没有其他链接，然后返回第一页，沿着另一个链接向前爬行！

　　B：广度爬取：当蜘蛛在一个页面上发现多个链接时，它不会沿着一个链接向前爬取，而是爬取页面上所有的一级链接，然后继续沿着二级页面上找到的链接爬到第三层页面！继续这样...

　　所以，我们在做网站的时候，对于网站的结构必须有这两种布局，在优化网站页面的时候也要实现两种链接布局！这样的结构才是搜索引擎蜘蛛群喜欢的！

　　3.引诱蜘蛛的定向优化技术

　　A：超读网站和页面权重优化，增加蜘蛛访问次数。

　　B：做好页面更新频率和内容质量

　　C：添加导入链接

　　D：到首页的点击距离；点击距离首页越近，页面权重越高，被蜘蛛爬取的几率越大

　　

　　4.地址库

　　搜索引擎会建立一个地址数据库来存储页面。目的是避免搜索引擎蜘蛛对网址的重复爬取和爬取。这个地址库收录了已经爬过的页面和被发现后还没有被爬过的页面！

　　

　　这个地址库里的网址是不是一定要被蜘蛛爬到？答案是不

　　有手动输入的*敏*感*词*网站地址，也有站长通过搜索引擎网页提交表单提交的网址！您可以通过百度搜索引擎网址提交参赛作品网站。

　　还有一点需要注意的是，如果提交的URL，可能不是收录，这取决于你提交的页面的权重！但是，搜索引擎蜘蛛仍然像他们自己一样跟随链接抓取页面！自己买的话味道会更好！

　　5.文件存储

　　搜索引擎蜘蛛爬取的页面都存储在这个原创页面数据库中！这些 URL 中的每一个都有一个唯一的文件编号！

　　

　　6.检测重复内容

　　有很多站长遇到过这样的问题：在网站页面发现了蜘蛛，但是页面一直没有收录，不知道怎么回事！事实上，这很简单。很有可能蜘蛛在抓取你的网页时发现了很多低权重的内容，比如：转载或者伪原创内容，蜘蛛就会离开！您的页面不是 收录！蜘蛛在爬取页面内容的时候，也会对其进行一定程度的重复内容检测！

　　(2）预处理

　　这个过程是指索引程序对数据库中蜘蛛抓取的网站页面进行处理，主要是做文本提取、中文分词、索引等；

　　这个过程就像一座桥梁。因为搜索引擎数据库中的数据太多了，当用户在搜索框输入关键词时，是不是不能一下子返回排名结果，但是很多时候我们感觉很Fast，其实它起到了一个预处理过程中的关键作用！和爬取爬取过程一样，也是在后台提前完成的！

　　有人认为预处理就是索引，但事实并非如此。索引只是预处理的一个主要步骤，那么什么是索引呢？索引是一种对数据库列表中一个或多个列的值进行排序的结构！

　　在建立索引之前有五项工作要做：

　　1.提取文本：

　　我们知道蜘蛛抓取的是收录所有HTML代码的页面，其中其实收录了很多信息：有文字、CSS属性、很多HTML格式标签、javascript程序！但是，后两者不能参与排名内容，也就是说，除了文字之外的所有内容都被删除。这个过程就是去除过程，也叫文本抽取过程，即：抽取出来的东西可以用于排序。已处理网站页面文本内容！

　　注：搜索引擎除了提取可见文本外，还可以提出以下不可见文本内容；例如：METa标签中的文本内容、图片替代文本、FLASH文件替代文本、链接锚文本等！

　　以上分享文字为个人原创意见。如果觉得小编的文章还不错，可以点击关注，关注我的头条号，有问题可以评论、讨论、学习。

　　时钟